Работа в Москве, вакансия - Data Engineer / Инженер данных • Москва - id365

Мы строим Data Lake House платформу с современным стеком:

S3, Trino, Apache Icberg, DBT, Airflow, Kafka, Clickhouse.

Обязанности:

• реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer)
• реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника
• построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям
• реализация и поддержка прикладных решений для контроля качества данных в DWH
• реализация и поддержка прикладных решений для управления метаданными DWH
• участие в R& D для выбора инструментов для построение отдельных частей платформы данных.

• Опыт работы от 3х лет

• базовые навыки в области инженерии данных

• системное аналитическое инженерное мышление

• умеренный перфекционизм и внимание к деталям

• понимание концепций проектирования DWH

• продвинутый уровень знания SQL

• высокий уровень владения Python для обработки данных

• опыт работы с оркестраторами и понимание концепции DAG

• опыт разработки и поддержки end-to-end пайплайнов данных

• опыт получения данных из различных типов API

• опыт работы с потоковой обработкой данных

• умение работать с GIT.

• график работы: на испытательном сроке офис 5/2, далее гибрид
• ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях
• релокация из любой точки мира.