Вакансия “Data engineer (middle)“

•

Мы команда Digital Apps, и мы занимаемся развитием маркетинговых технологий для Сбербанка. Мы создаем инструменты сквозной аналитики, позволяющие отследить весь пользовательский путь от просмотра баннера до первой транзакции, автоматизировать запуск рекламы в Digital и эффективнее управлять ей. Наша основная цель – быть #1 в привлечение клиентов в цифровом пространстве.

Задачи:

Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop)

Проектирование и разработка аналитических витрин данных

Проектирование и разработка коннекторов для ETL процессов

Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных;

Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных

Hard Skills:

SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности).

Стек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД.

Знание понятий и концепций DWH

Python (PySpark, Pandas, NumPy, REST API);

Airflow/Dagster/Oozie

BitBucket\Git

Bash

HTML, JavaScript

Знание YAML

Soft Skills:

Внимательность к деталям

Аналитические навыки

Коммуникационные навыки

Ответственность

Будут плюсом Hard+Soft:

Знание банковского бизнеса;

Опыт работы по Agile (SCRUM, Kanban, и т.д.);

Опыт работы в качестве Data Engineer / Data Analyst / ETL Developer

Знание Scala/ Java, Maven