Data engineer
Обязанности
О компании:
Dodo Brands — международная компания, развивающая три бренда (Додо Пицца, кофейни Дринкит и донерные Донер 42) в 15 странах, включая Великобританию, Польшу, Нигерию.
Dodo Engineering – IT-команда Dodo Brands. Нас 200 человек, с 2011 года создаём и развиваем собственную платформу Dodo IS для управления всем бизнесом, сайт и мобильные приложения для клиентов и курьеров.
Команда и проект:
Компания идет по пути Data Driven. Команда разрабатывает аналитическую платформу, задача которой сделать данные доступными для наших коллег в пиццериях и партнеров франчайзи.
Сейчас мы ищем в нашу команду сильного Data Engineer.
Наш стек технологий:
Python, Spark (Databricks platform for managed Spark, PySpark для пайплайнов данных), DeltaLake, Azure Data Explorer, Azure EventHubs (Kafka API), Kafka Connect (Debezium), GitHub Actions, MLFlow, Apache Superset.
Чем предстоит заниматься:
- Создание единой платформы данных как единого источника данных для ML, data analytics, reporting и dashboarding;
- Разработка и автоматизация построения пайплайнов данных (batch и streaming);
- Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных;
- Помощь BI в оптимизации запросов для витрин данных;
- Интеграция тулинга для data lineage;
- MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production;
- Улучшение качества данных: интеграция внешних инструментов/библиотек для автоматического обнаружения проблем;.
- Предоставление тулинга для разработчиков для поставки данных от сервисов в платформу данных.
Требования
Обязательно, чтобы у вас были:
- Data warehousing, data modeling, data transformation;
- Как писать и оптимизировать сложные SQL запросы;
- Знания Python;
- Построение production пайплайнов данных с помощью Spark, Spark Streaming с мониторингом и логированием; опыт в оптимизации существующих пайплайнов под новые задачи;
- MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.);
- RabbitMQ и/или Apache Kafka;
- Архитектура проектов данных в масштабе;
- Дизайн распределенных систем, например, как map-reduce и распределенная обработка данных работают на масштабе;
Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH.
.
Будет плюсом:
- Опыт работы с Hudi или Iceberg или Delta Lake.
Условия
Приятные бонусы:
- Работа в офисе или удаленная работа;
- Расширенная ДМС с первого рабочего дня
- Оплата профильных конференций, курсов, профессиональной литературы;
- Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter);
- Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе;
- Прокачка навыков публичных выступлений (сделаем из вас крутого спикера);
- Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC);
- Помощь в переезде (релокационный бонус).
- Периодически Костя Оганезов готовит борщ или окрошку.