Вакансия “Data Engineer“
|
Описание вакансии:
|
|
| Рабочее место: |
•
Стационарное рабочее место
|
| Тип занятости: |
•
Постоянная работа
|
| График работы: |
•
полный день
|
| Опыт работы: | • от 1 года |
| Дополнительно: |
•
Наша команда занимается разработкой витрин данных и созданием внутренних инструментов для автоматизации процесса разработки и вывода, исследованием новых источников данных, помогает командам соседних подразделений построить интеграцию с нашими процессами. Мы ищем специалиста, желающего развиваться в DE и готового делиться своими знаниями с коллегами. Обязанности исследование источников данных (внешних данных, реплик АС Банка, других витрин) разработка и изменение витрин данных на Hadoop/GreenPlum исходя из требований аналитиков данных создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python) Требования понимание работы Hive, Spark на Hadoop базовые знания языков программирования Python знание SQL на уровне аналитических запросов понимание объектно-ориентированного подхода к разработке умение обращаться с git, bash Будет плюсом опыт разработки на Spark/PySpark оптимизация выполнения сценариев на Spark понимание процессов ETL, ELT Условия команда высокомотивированных и увлеченных профессионалов, с которой вы получите максимальное удовольствие от работы мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы возможность работы с новыми технологиями обучение за счет компании красивый и комфортный офис на Кутузовском пр-те, 32 ДМС с первого дня |