Работа в Москве, вакансия - ML-инженер • Москва - id409

• разработка приложений с использованием LLM (агентные и RAG системы, системы обработки текстов)
• разработка способов оценивания качества работы LLM приложений
• оптимизация инференса
• построение web-интерфейсов для MVP и PoC.

Стек:

• разработка: Python 3.10+, FastAPI (+ сопутствующие инструменты), Docker
• базовый инструментарий: PyTorch, инструменты экосистемы HuggingFace, pandas, scikit-learn, matplotlib .
• языковые модели: энкодерные и декодерные языковые модели, инференс на vLLM, transformers, Llama.cpp (+ollama)
• хранилища: Elasticsearch, mongo, pgvecto-rs, HellixDB
• интерфейсы: streamlit, gradio
• MLOps: DVC.

• уверенное знание Python
• знание основ работы с Linux (shell, файловая система, процессы)
• математическая подготовка: математическая статистика (оценка параметров, их характеристики, доверительные интервалы, бутстрап), основы машинного обучения (регрессоры, классификаторы, деревья, метрики, EDA)
• базовое понимание работы LLM: понимание архитектуры, работа с внутренним состоянием, понимание принципов инференса (KV кэш, стратегии декодирования, структурированный вывод)
• опыт построения языковых моделей: SFT, DPO + RL, LoRA, контрастное обучение, метрики качества
• опыт работы с RAG системами: понимание принципов функционирования, опыт участие в разработке
• агентные системы: понимание архитектур и их проблем
• способы замера качества LLM-приложений: метрики поиска данных, LLM-as-a-judge, сбор и разметка данных для специализированных бенчмарков, принципы работы общих бенчмарков.

Будет плюсом:

• опыт проектирования RAG и агентных систем, наличие опыта работы с LLM фреймворками, такими как Flowise, n8n (low code) или LlamaIndex, Langchain, CrewAI (python)
• опыт работы в других областях ML, таких как обработка аудио (TTS, STT, атрибуция), работа с изображениями (детекция объектов с Yolo, подготовка и разметка датасетов в CVAT), работа с мультимодальными LLM
• опыт в оптимизации инференса: квантизация, дистиляция, использование эффективных фреймворков (TRT, SGLang), спекулятивный декодинг, continuous batching.