Вакансия “Старший разработчик ядра Spark over YT“
|
Описание вакансии:
|
|
| Вид работы: |
#аналитическая
|
| Рабочее место: |
•
Стационарное рабочее место
|
| Тип занятости: |
•
Постоянная работа
|
| График работы: |
•
полный день
|
| Опыт работы: | • Более 3-х лет |
| Обязанности: |
•
Работать над Spark Core: дорабатывать его для наших нужд, внедрять свой код в upstream, следить за новыми версиями
•
Разрабатывать новые функции на стыке Spark и YT
•
Консультировать пользователей, устранять баги
•
Рассказывать о своих успехах на конференциях
|
| Требования: |
•
SCALA
•
Java
•
Spark
•
Алгоритмы и структуры данных
•
Уверенно пишете на Scala или Java не меньше трёх лет
•
Готовы учить другие языки
•
Понимаете принципы обработки больших данных, парадигму MapReduce и её наследников
•
Работали с Apache Spark
•
Знаете C++ или Python
•
Интересуетесь распределёнными системами
•
Хорошо знаете Hadoop Stack (особенно HDFS, YARN)
|
| Дополнительно: |
•
YT — основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших данных. Мы интегрируем Spark и YT с 2020 года и уже рассказывали об этом на конференции Highload++ 2021. Сейчас Spark-over-YT используют десятки инженеров данных Яндекса. Мы ищем сильного разработчика, которому интересно заниматься распределёнными системами и инфраструктурой обработки больших данных. Наш стек: Spark Core на Scala; YT на C++; клиентские библиотеки на Java и Python. Примеры задач: улучшить интеграцию Spark и планировщика YT, автоскейлинг; оптимизировать data-path — код чтения и записи в YT; оптимизировать shuffle: развернуть shuffle-service или сделать свой, интегрированный с YT. Условия: сильная команда, с которой можно расти; сложные задачи для сервисов с миллионами пользователей; возможность влиять на процесс и результат; премии каждые полгода для всех, кто работает эффективно; ипотечные программы под 3% на 10 лет или без процентов на 3 года; компенсация питания; расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей; спортзал, тренажёрный зал, йога в офисе; гибкий график; возможность работать в офисах по России (Санкт-Петербург, Новосибирск, Екатеринбург) или в одном из наших хабов (Сербия, Армения, Казахстан). |