Вакансия “Data engineer“

•

Мы интернациональная команда, занимающаяся адаптацией, ⁣ ⁣локализацией и созданием новых сервисов экосистемы для дочерних банков экосистемы Сбер.

Чем предстоит заниматься:

полным циклом разработки всех слоев хранилища данных и отображения отчетности

участвовать в составлении плана проекта, оценка проектных сроков и рисков

участвовать в проектировании системы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала

развивать корпоративное хранилище и витрины данных (АС Облако данных) для развития международного бизнеса Сбербанка. Участвовать в сложных интеграционных проектах по развитию корпоративного DWH (преимущественно Hadoop, возможно, интеграции с БД Oracle и Teradata) в роли разработчика.

разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop с использованием Apache Spark

разрабатывать и оптимизировать ETL, обеспечивать производительность и стабильность, при необходимости участвовать в анализе инцидентов

организовывать оптимальный процесс разработки

участвовать в приемке системы

Мы ожидаем:

опыт работы в области Data engineer от одного года

Работа с данными:

знание SQL - простые запросы, Join`ы, агрегаты, группировки, вложенные запросы

знание python: стандартные структуры данных (dict, list, set, модуль collections), pandas, numpy, h5рy

опыт работы с Hadoop (Hive, Spark, HBase) является плюсом

Моделирование:

Feature Engineering: - методы оценки значимости и отбора признаков, методы уменьшения размерности, приемы работы с текстом

Model - умение различать основные классы задач (регрессия, классификация, кластеризация) и формулировать бизнес-задачу в их терминах. Знать основные методы и знать api по их использованию

Python - sklearn, numpy, scipy, xgboost (в порядке убывания приоритета)

Evaluation:

умение различать методы оценки качества модели под основные классы задач и понимать плюсы и минусы их применения. (f1, precision, recall, roc auc, mse, rmse, silhouette)

опыт работы с инструментами для организации и автоматизации работы: GridSearch, pipelines, ide, git, Jira, Confluence

понимание методологии Agile и DevOps

владение английским языком на уровне чтения технической документации

Мы предлагаем:

работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны

можно работать в офисе или в смешанном графике

конференции и обучение на корпоративных или вендорских курсах за наш счёт

отличная ДМС, включая несчастные случаи и тяжелые заболевания

льготные условия по ипотеке и кредитам

материальная помощь и социальная поддержка

корпоративная пенсионная программа

офис в бизнес-центре Поклонка (м. Кутузовская)