Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения
Чем предстоит заниматься
Разрабатывать MLOps/autoML платформы
Миграция сервисов платформы на новые версии библиотек scala/spark
Проектировать структуры хранения и представления данных
Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
Анализировать производительность и масштабировать продукты под возрастающую нагрузку
Писать юнит и интеграционные тесты, проводить code review
Что для этого нужно
Опыт разработки на Scala от 2 лет
Опыт работы со Spark
Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.
Понимание архитектуры и принципов работы Spark-приложений
Навык работы с Docker, Kubernetes Будет плюсом:
Опыт работы со SparkML
Знания особенностей spark разных версий
Опыт проектирования или работы с современными MLOps платформами
Понимание принципов обучения ML-моделей
Знание Python
Опыт работы с базами данных Cassandra, Scylla etc.
*Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"