Вакансия “Data Engineer Scala, Платформа, Обработка и хранение данных“

•

Команда DE Platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и BI. Эти данные используются во множестве процессов внутри компании. Экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг.

Наш стек:

Scala, Akka-Stream, Cats, Spark, Python;

Vertica, MS SQL, ClickHouse, Hadoop (hаdоор3, hdfs, yarn, hive) и др.;

Airflow (Celery Executor, k8s);

Gitlab CI/CD, Kubernetes;

Kafka, Prometheus, Grafana;

Gitlab, GIT.

Вам предстоит:

Поддержка и развитие существующих инструментов на базе Hadoop (hаdоор3, hdfs, yarn, hive);

Разработка spark приложений для обработки данных;

Поддержка и развитие существующих решений на Kafka;

Внедрение полноценного dev/stage контура для сервисов;

Переписать/отрефакторить легаси код по довозу данных;

Рефакторинг метрик, борды, алертов;

Внедрение синка и подвоза данных multiDC;

Внедрение/рефакторинг е2е тестирования сервисов;

Участие в проектировании архитектуры разрабатываемых решений;

Участие в выборе используемых технологий и компонентов;

Внедрение и сопровождение технических решений;

Документирование разрабатываемых решений;

Проведение code review.

Мы ожидаем:

Уверенное владение Scala;

Опыт работы с Hadoop (hdfs, yarn, hive);

Опыт разработки многопоточных приложений;

Опыт работы с СУБД (Postgre SQL/MS SQL);

Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse);

Опыт работы с Kubernetes, Kafka, git;

Опыт работы с KV-хранилищами;

Ответственность, проактивность.

Будет плюсом:

Опыт работы с Prometheus, Grafana;

Опыт работы с Airflow (Celery Executor, k8s).

Мы предлагаем:

Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce;

Свободу действий в принятии решений;

Достойный уровень заработной платы;

Профессиональную команду, которой мы гордимся;

Возможность развиваться вместе с нашим бизнесом.