Вакансия “Senior Data \ ML engineer“
|
Описание вакансии:
|
|
| Рабочее место: |
•
Стационарное рабочее место
|
| Тип занятости: |
•
Постоянная работа
|
| График работы: |
•
полный день
|
| Опыт работы: | • Более 3-х лет |
| Обязанности: |
•
Сбор и спецификация функциональных и нефункциональных требований к промышленным решениям с использованием AI-моделей
•
Оценка нагрузки и выбор систем хранения
•
Формирование технических требований для обеспечения масштабируемости, надежности и низкой задержки работы микросервисов
•
Разработка и актуализация микросервисной архитектуры с учетом одобренного тех
•
Стека
•
Определение архитектурного data-ландшафта всего продукта
•
Реализация скриптов предобработки и загрузки данных в БД (Python, стандартные библиотеки для работы с данными)
•
Подготовка Python-скриптов к использованию в серверном окружении в рамках микросервисной архитектуры
•
Реализация логики обработки данных в БД Postgres (PL/pgSQL) и Greenplum
•
Организация интеграций с Централизованным ХД (Greenplum) в рамках ETL-пайплайнов
|
| Требования: |
•
Контейнеризация: Docker, OpenShift, К8s
•
Инструменты DevOps (MLOps): Bitbucket, Nexus, Jenkins
•
Брокеры сообщений: Kafka, RabbitMQ
•
ML System Design (от этапа scope refinement до модульного дизайна с выделением подсистем хранения и аналитики)
•
Сбор и спецификация требований к произвольному элементу data-ландшафта:
•
Pipeline, DB, DWH (dim/lkp/fact/table, DDS/ODS, data mart)
•
OLTP vs OLAP
•
Продвинутый уровень SQL (DDL, DML, DCL, TCL + диалекты T-SQL, PL/SQL, PL/pgSQL)
•
SMP СУБД: MS SQL Server, MySQL, Oracle, PostgreSQL и др
•
MPP СУБД: Teradata, Greenplum и др
•
Опыт обработки больших объемов данных и распараллеливания вычислений
•
ER-моделирование: инфологическая, даталогическая модели
•
Нормализация БД (3 НФ)
•
Знание ETL/ELT + ETL-инструменты: Apache NiFi/Airflow, Ab Initio, Informatica и др
•
Знание ЯП Python: функциональный подход, ООП, библиотеки для анализа данных, WEB-фреймворки (Flask, Django и др.)
•
Ключевые архитектурные парадигмы построения детального слоя хранилищ данных (DDS DWH), а именно
•
Star/Snowflake Schema, Data Vault 1.0/2.0, Anchor Modelling
•
Логирование основных событий в БД, в том числе для выстраивания мониторинга и обеспечения контроля качества данных, а также управления модельным риском
•
Понимание фундаментальных различий основных видов NoSQL-решений: key-value, column-oriented, document-oriented, graph
•
Опыт работы с NoSQL-решениями: MongoDB, Elasticsearch, Firebase, Redis, Cassandra, Vertica, ClickHouse, Nео4j и др
•
Файловые системы и объектные хранилища: HDFS, S3
|
| Дополнительно: |
•
Команда продукта «ИСУ Руководителя» занимается созданием и внедрением следующих решений: 1. Data-решения для управленческих функций: витрины данных и базы знаний на основе множества источников структурированной и неструктурированной информации. 2. AI-сервисы для инструментов руководителя от идеи до промышленной эксплуатации, а именно: - развитие голосового Виртуального Ассистента для помощи руководителю; - классификация встреч/задач; - умные цели по эффективности; - автоматический график встреч сотрудника; - извлечение главного из диалоговых последовательностей (голос, текст). 3. Решения с использованием сервисов партнеров экосистемы (Jazz, SberChat, Салют). 4. Трекер задач (аналог Trello), обеспечивающей управление задачами еnd2еnd: от планирования до мониторинга выполнения и поиска корневых причин. 5. Инструменты оценки встреч и обратной связи, реализующие принципы прозрачности в рамках follow-up менеджмента.
Вызовы заключаются в определении единой MLOps-архитектуры (концептуальная арх-ра и microservices solution architecture) для деплоя AI-моделей продукта с учетом взаимосвязи между их входами и выходами. Дополнительный вызов – исследование большого количества новых источников данных и участие в организации интеграционных взаимодействий в части доставки исходных данных до целевой платформы – получателя информации, а также создания единого централизованного хранилища различных данных под нужды микросервисов внутри продукта (сервисы аналитики, исполнения моделей). В задачи сотрудника входят: - определение концептуальной и microservices solution архитектуры для обеспечения согласованной работы аналитических (в т.ч. AI) сервисов продукта с учетом требований к технологическому стеку внутри банка; - подготовка решений на основе моделей и реализация MLOps-функции для деплоя моделей в промышленное окружение с учетом функциональных и нефункциональных требований; - выстраивание единой схемы данных продукта с учетом основных требований к их доступности и согласованности для обеспечения исполнения моделей в режимах batch-processing и NRT; - обработка новых источников данных; - разработка сервисов загрузки данных из новых источников; - выстраивание промышленных интеграций между источниками и получателем информации, включающее ETL-процессы, проектирование staging area и внутренней логики ЦХД от схем с сырьевыми данными до схем с конечными витринами с учетом требований отдельных функциональных подсервисов (в т.ч. AI-моделей) продукта.
Условия: возможность работать в офисе или, по результатам прохождения испытательного срока – в рамках смешанного графика
свободное взаимодействие в команде, отсутствие излишнего формализма. Наша цель –
выполнение задачи с учетом заданных требований, а не соответствие формальной картинке
команда молодых профессионалов, готовых поддержать твои инициативы и поделиться опытом
конференции и обучение на корпоративных курсах за наш счёт
отличная ДМС, включая несчастные случаи и тяжелые заболевания
возможность сменить команду или проект при желании
программы лояльности для сотрудников: скидки на продукты банка и компаний-партнеров, льготные условия кредитования
материальная помощь и социальная поддержка
корпоративная пенсионная программа |