Работа в Москве, вакансия - Big Data Engineer • Москва - id388

Мы в поиске Инженера по работе с большими данными в команду дата-инжиниринга, который будет участвовать в ключевых проектах Lamoda, обеспечивая стабильную и масштабируемую инфраструктуру для обработки и анализа данных.

В рамках этой роли вы будете решать задачи продуктового направления навигации, которое:

• Развивает поиск, каталог, саджесты, ранжирование товаров и AI-инструменты навигации.

• Улучшает качество поиска и навигации через аналитику, работу с поисковыми запросами и ML-модели (DL, NLP, CV).

• Обеспечивает эффективную интеграцию алгоритмов с продуктовым дизайном.

• Реализует data-driven инициативы, помогая пользователю быстрее находить нужные товары и информацию.

Чем предстоит заниматься:

• Разрабатывать и развивать платформу данных электронной коммерции нового поколения

• Проектировать и реализовывать ETL-пайплайны в Airflow для Spark, Streaming, Hive, Trino

• Оптимизировать существующие пайплайны и Spark-джобы: следить за нагрузкой на кластер, ресурсами и производительностью

• Взаимодействовать с аналитиками и ML-инженерами, оптимизировать SQL-запросы, развивать культуру осознанной работы с данными

• Развивать Action Storage — слой событий кликстрима, используемый в аналитике и моделях

• Анализировать и внедрять новые инструменты для эффективной работы с данными.

Мы ожидаем:

• Опыт работы со стеком Hadoop (YARN, HDFS, Hive)

• Уверенные навыки в Spark

• Опыт разработки на Python

• Отличное понимание SQL и принципов работы с СУБД

• Инженерный подход, интерес к системам данных и внимание к деталям.

Будет плюсом:

• Опыт с Docker

• Знакомство с Kafka, Iceberg.