Data engineer
Обязанности
О компании:
Dodo Brands - международная компания, развивающая 3 бренда (Dodo Pizza, Drinkit, Doner 42) в 14 странах. За 10 лет более 25 миллионов клиентов оставили информацию о себе. Совокупно более 20 000 сотрудников работает в более 750 пиццерий.
Мы делаем ставку на IT и создаём Додо ИС, информационную систему, включающую клиентский сайт, мобильное приложение, интерфейс контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.
Прямо сейчас над нашей собственной системой Додо ИС работают более 20 команд разработки, всего более 180 человек.
О команде данных:
Компания идет по пути Data Driven. Команда разрабатывает аналитическую платформу, задача которой сделать данные доступными для наших коллег в пиццериях и партнеров франчайзи.
Сейчас мы ищем в нашу команду сильного Data Engineer.
Наш стек технологий:
Python, Spark (Databricks platform for managed Spark, PySpark для пайплайнов данных), DeltaLake, Azure Data Explorer, Azure EventHubs (Kafka API), Kafka Connect (Debezium), GitHub Actions, MLFlow, Apache Superset.
Чем предстоит заниматься:
- Создание единой платформы данных как единого источника данных для ML, data analytics, reporting и dashboarding;
- Разработка и автоматизация построения пайплайнов данных (batch и streaming);
- Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных;
- Помощь BI в оптимизации запросов для витрин данных;
- Интеграция тулинга для data lineage;
- MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production;
- Улучшение качества данных: интеграция внешних инструментов/библиотек для автоматического обнаружения проблем;.
- Предоставление тулинга для разработчиков для поставки данных от сервисов в платформу данных.
Требования
Обязательно, чтобы у вас были:
- Data warehousing, data modeling, data transformation;
- Как писать и оптимизировать сложные SQL запросы;
- Знания Python;
- Построение production пайплайнов данных с помощью Spark, Spark Streaming с мониторингом и логированием; опыт в оптимизации существующих пайплайнов под новые задачи;
- MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.);
- RabbitMQ и/или Apache Kafka;
- Архитектура проектов данных в масштабе;
- Дизайн распределенных систем, например, как map-reduce и распределенная обработка данных работают на масштабе;
Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH.
.
Будет плюсом:
- Опыт работы с Hudi или Iceberg или Delta Lake.
Условия
Приятные бонусы:
- Работа в офисе или удаленная работа
- Расширенная ДМС с первого рабочего дня
- Оплата профильных конференций, курсов, профессиональной литературы
- Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter);
- Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
- Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
- Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
- Помощь в переезде (релокационный бонус).
- Периодически Костя Оганезов готовит борщ или окрошку.