Вакансия “Data Engineer“

•

Дорогой кандидат, мы - динамично растущая команда экспертов в области построения рекомендательных систем.

Наша главная цель - построить современную, масштабируемую платформу, которая будет постоянно предвосхищать и превосходить ожидания пользователей, предоставляя им персонализированный и релевантный контент на всем клиентском пути в экосистеме Сбер. Наша платформа будет обслуживать широкий круг потребителей и строить персональные рекомендации во всех сферах бизнеса, таких как музыка, фильмы, онлайн торговля, медицина, логистика и многих других, которые присутствуют в быстро растущей экосистеме. Если ты мечтаешь поучаствовать в создании такой рекомендательной системы, то тебе к нам!

Наша платформа будет обслуживать широкий круг потребителей и строить персональные рекомендации во всех сферах бизнеса, таких как музыка (Звук), фильмы (ОККО), онлайн торговля (СберМаркет, СберМегаМаркет), медицина (еАптека) и многих других, которые присутствуют в быстро растущей экосистеме. Если ты мечтаешь поучаствовать в создании такой рекомендательной системы, то тебе к нам!

Интеллектуальное ядро такой системы - это алгоритмы машинного обучения, которые анализируют по-настоящему большие данные, и в реальном времени рассчитывают предпочтения миллионов конечных пользователей. Работая в нашей команде, ты будешь участвовать в исследовании, разработке, тестировании и внедрении самых передовых алгоритмов классического и глубокого обучения в части рекомендаций. Ты получишь опыт внедрения таких алгоритмов в реальной индустриальной экосистеме, начиненной большими данными и работающей с высокими нагрузками при их обработке.

Мы ищем:

Middle/Senior Data Engineer в команду единой рекомендательной платформы для компаний экосистемы Сбер.

Что предстоит делать:

Разработка продакшен-пайплайнов обработки данных;

Продуктизация прототипов команды Data Science;

Performance оптимизации кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой.

Стек технологий:

Для разработки используем: Python, PySpark, Pandas, Redis, PostgreSQL, AirFLow, MLFlow и др.

Для организации работы: Jira, Confluence, Git.

Что для нас важно:

Мотивация учиться и развиваться в области рекомендательных систем;

Экспертное знание Python;

Уверенное знание Spark (и желательно Pandas);

Опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику;

Опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.);

Хорошее понимание баз данных SQL / NoSQL.

Будет плюсом:

Опыт оптимизации пайплайнов препроцессинга данных под highload;

Знание Scala/Java;

Опыт работы с рекомендательными системами;

Опыт работы с облачными платформами;

Опыт работы с Kafka, Flink, Hadoop;

Хороший уровень понимания Computer Science алгоритмов.

Мы предлагаем:

Официальное трудоустройство согласно ТК РФ;

Белая заработная плата (оклад + годовая премия);

Страхование (от несчастных случаев, ДМС);

Оздоровительные программы для детей сотрудников;

Возможность обучения за счет компании;

Выплаты материальной помощи в особых/чрезвычайных случаях;

Дисконт-программы от компаний партнеров (фитнес, страхование, туризм);

Льготное кредитование;

Столовая на территории офиса.