Работа в Москве, вакансия - Prompt-инженер (QA, тестирование) • Москва - id443

Рувики - новая интернет-энциклопедия.

Наш продукт – Онлайн-энциклопедия, предоставляющая доступ к миллионам статей, изображений и видеороликов по самым различным темам - от истории и науки до искусства и технологий.

О проекте:

Мы развиваем инструменты и сервисы для автоматизации написания, проверки и обогащения статей в Рувики. Используем искусственный интеллект и большие языковые модели (LLM), чтобы повысить эффективность работы авторов и редакторов.

Роль в команде:
Мы ищем Prompt-инженера (с фокусом на QA), который поможет нашей команде отлаживать, тестировать и масштабировать LLM-сервисы, используя профессиональные техники промптинга.

Чем предстоит заниматься:

Разработка и оптимизация промптов: создание, настройка и итерационное улучшение промптов/инструкций LLM для задач генерации, верификации, модерации и обновления энциклопедических статей

Контроль качества (QA) промптов и LLM-сервисов:

• Разработка и ведение тест-кейсов для типовых, сложных и граничных случаев на уровне промптов
• Отладка промптов вручную через playground
• Имитационное и стресс-тестирование промптов с помощью скриптов
• Проведение оценки результатов, выявление и документирование багов и некорректных сценариев генерации
• Внесение изменений до тех пор, пока не достигнут требуемый стандарт качества на продуктив

Документирование и стандартизация:

• Ведения библиотеки базовых промптов
• Написание планов тестирования и чек-листов контроля качества
• Треккинг багов, которые относятся к промптам.

Работа с данными:

• Составление и разметка тестовых датасетов для проверки промптов
• Регулярная проверка корректности автогенерации

Взаимодействие с командой:

• менеджеры, разработчики и редакторы Рувики
• сбор обратной связи по качеству промптов
• Участие в совместных исследованиях и экспериментах.

• Практический опыт в разработке и тонкой настройке промптов для LLM (ChatGPT, YandexGPT, GigaChat и др.)
• Владение продвинутыми методиками промптинга
• Базовые знания Python для написания скриптов тестирования
• Базовый SQL для проверки и отладки промежуточных результатов
• Опыт взаимодействия с LLM через REST API
• Навыки QA: написание тест-кейсов, анализ результатов генерации, автоматизация проверок, поиск и описание багов
• Отличная письменная грамотность, внимательность к деталям
• Владение английским на уровне не ниже intermediate (работа с документацией)
• Способность системно подходить к задачам, самостоятельно организовывать процесс тестирования и валидации.

Будет плюсом:

• Опыт в роли QA-инженера в сервисах искусственного интеллекта: чат-боты, генерация контента и изображений, подготовка разметки
• Навыки работы с Docker, Git, облачными сервисами
• Навыки сбора и систематизации обратной связи от пользователей/редакторов.

Если у вас склонность к выверке результата “до идеала”, азарт в борьбе с багами и галлюцинациями GPT — присоединяйтесь!

• Уровень дохода обсуждается с финальным кандидатом по итогам собеседования.

• Интересные задачи, крутые кейсы, возможность выйти на новый профессиональный уровень.

• 100% «белая» заработная плата, официальное трудоустройство по ТК РФ с первого дня.

• Полная занятость, комбинированный формат работы или удаленно в рамках РФ.

• Пятидневная рабочая неделя, с пн-пт.

• Шаговая доступность от метро Белорусская.

• Дружный и неравнодушный коллектив профессионалов.

• Программа ДМС после успешного прохождения испытательного срока.