Работа в России, вакансия - QA Engineer (AI Agents) • Красноярск - id371

☝️Remote · вне РФ и РБ · разговорный английский

Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.

Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.

Чем предстоит заниматься:

-Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).

-Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.

-Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.

-Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.

-Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.

-Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.

-Вести техническую документацию и описывать best practices.

Требования

-Опыт работы в QA (manual или automation) от 2 лет.

-Практический опыт тестирования AI-агентов или чат-ботов.

-Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.

-Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).

-Опыт автоматизированного тестирования (желательно — для AI-агентов).

-Уверенное владение Python на уровне написания тестов и утилитарных скриптов.

-Навыки работы с Git и системами отслеживания ошибок.

-Английский язык от B2 для работы в международной команде.

-Проживание вне РФ и РБ.

-Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон)

Будет плюсом

-Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.

-Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.

-Понимание CI/CD-процессов и базовых инструментов мониторинга.

-Участие в построении тестовой архитектуры для AI-систем.

Мы предлагаем

-Полностью удалённый формат работы.

-Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов.

-Возможность профессионально расти в QA для LLM- и AI-агентных систем.

-Оплату по квалификации — от 20 USD/час.