Работа в Москве, вакансия - Data Engineer • Москва - id343

Мы занимаемся разработкой и внедрением программных решений. Работаем с крупными заказчиками, такими как: Сбер, Яндекс, ВТБ и другие.

Мы ищем опытного Data Engineer для проектирования и разработки масштабируемых решений в области Big Data.

Обязанности:

• Разработка и поддержка ETL/ELT процессов.
• Проектирование и создание витрин данных и объектов хранилища на базе Greenplum и ClickHouse.
• Реализация процессов потоковой обработки данных (Kafka, Flink, Spark Streaming).
• Участие в развитии Data Lake и корпоративного хранилища данных.
• Оптимизация запросов и производительности систем.
• Включение в ad-hoc задачи и пилотирование новых решений.

• Опыт работы с Greenplum (MPP-архитектура, оптимизация запросов).
• Опыт работы с ClickHouse (проектирование схем, шардирование, репликация).
• Знание инструментов stream processing: Kafka Streams / Flink / Spark Streaming.
• Хорошее знание SQL (T-SQL / PL/pgSQL / PLSQL).
• Опыт разработки на Python / Java / Scala (Airflow будет плюсом).
• Понимание различий OLTP и OLAP.
• Навыки работы с Git, CI/CD.

Будет плюсом:

• Опыт построения real-time аналитических систем.
• Знание облачных платформ (AWS / GCP / Azure).
• Docker / Kubernetes.
• Опыт внедрения Data Quality, Data Governance практик.

• Мы гарантируем прозрачность в карьерном росте и прогнозировании дохода, а также предлагаем возможность ротации на другие проекты компании.
• Любое удобное оформление (штат, ИП, самозанятость).
• Стабильная и гарантированная оплата 2 раза в месяц.
• Современный стек.