Работа в Москве, вакансия - BigData / DWH разработчик • Москва - id372

В команде ETL X5 Технологии открыта позиция DWH разработчик
Наш стек: Apache Nifi, Apache Airflow, Kafka, Hadoop, Hive, Greenplum

На данный момент, у нас несколько кластеров СУБД Greenplum общий емкостью более 100 терабайт и кластер Hadoop общей емкостью 6 петабайт.

Команда разработки/развития DWH отвечает за прогрузку данных из кластера Hadoop в СУБД Greenplum. Построение основных слоёв хранилища по методу моделирования данных - Data Vault. Проверку архитектурных гипотез на практике и выработку предложений по выбору инструментов для наиболее эффективной реализации задач.

Результат нашей работы - стабильно работающее хранилище, удовлетворяющее потребностям заказчиков и техническим веяниям времени.

Чем предстоит заниматься:

• Проектирование и разработка потоков данных на ETL/ELT инструментах
• Имплементация кастомных трансформаций
• Проектирование и построение прототипов, витрин
• Анализ производительности, масштабирование существующих систем
• Оптимизация SQL запросов и структур баз данных
• Разработка процедур на языке PL/pgSQL
• Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов
• Создание и актуализация базы знаний для пользователей DWH
• Контроль работы внешних подрядчиков.

Наш кандидат:

• Знание принципов построения хранилищ данных
• Понимание архитектур MPP систем
• Опыт работы с экосистемой Hadoop/ навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.)
• Знание SQL (DDL, DML), опыт оптимизации запросов
• Опыт работы с Greenplum, либо отличное знание PostgreSQL
• Опыт разработки на Python
• Практический опыт работы с SAS DIS/Informatica PowerCenter
• Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности
• Навык работы с Git, Jira, Confluence.

Мы предлагаем:

• Работаем удаленно, но если хочется в офис, то есть возможность выбрать гибридный вариант работы
• Гибкий график работы
• Оформление по ТК РФ с официальной заработной платой
• Возможность обучаться и сертифицироваться за счет компании: очные мастер-классы, платформы онлайн - образования, электронная библиотека
• Бонусная программа: ДМС со стоматологией, консультации психолога, страхование жизни и выезжающих за рубеж, скидки в магазинах сети Х5, скидки от компаний-партнеров на Prime-zone.