logo

Data engineer

Вакансия уже неактуальна и находится в архиве

Обязанности

О компании:

Dodo Brands - международная компания, развивающая 3 бренда (Dodo Pizza, Drinkit, Doner 42) в 14 странах. За 10 лет более 25 миллионов клиентов оставили информацию о себе. Совокупно более 20 000 сотрудников работает в более 750 пиццерий.

Мы делаем ставку на IT и создаём Додо ИС, информационную систему, включающую клиентский сайт, мобильное приложение, интерфейс контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.

Прямо сейчас над нашей собственной системой Додо ИС работают более 20 команд разработки, всего более 180 человек.

О команде данных: 

Компания идет по пути Data Driven. Команда разрабатывает аналитическую платформу,  задача которой сделать данные доступными для наших коллег в пиццериях и партнеров франчайзи. 

Сейчас мы ищем в нашу команду сильного Data Engineer.

Наш стек технологий: 

Python, Spark (Databricks platform for managed Spark, PySpark для пайплайнов данных), DeltaLake, Azure Data Explorer, Azure EventHubs (Kafka API), Kafka Connect (Debezium), GitHub Actions, MLFlow, Apache Superset.

Чем предстоит заниматься:

  • Создание единой платформы данных как единого источника данных для ML, data analytics, reporting и dashboarding;
  • Разработка и автоматизация построения пайплайнов данных (batch и streaming);
  • Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных;
  • Помощь BI в оптимизации запросов для витрин данных;
  • Интеграция тулинга для data lineage;
  • MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production;
  • Улучшение качества данных: интеграция внешних инструментов/библиотек для автоматического обнаружения проблем;.
  • Предоставление тулинга для разработчиков для поставки данных от сервисов в платформу данных.

Требования

Обязательно, чтобы у вас были:

  • Data warehousing, data modeling, data transformation;
  • Как писать и оптимизировать сложные SQL запросы;
  • Знания Python; 
  • Построение production пайплайнов данных с помощью Spark, Spark Streaming с мониторингом и логированием; опыт в оптимизации существующих пайплайнов под новые задачи;
  • MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.); 
  • RabbitMQ и/или Apache Kafka; 
  • Архитектура проектов данных в масштабе;
  • Дизайн распределенных систем, например, как map-reduce и распределенная обработка данных работают на масштабе;
  • Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH.

    .

Будет плюсом:

  • Опыт работы с Hudi или Iceberg или Delta Lake.

Условия

Приятные бонусы:

  • Работа в офисе или удаленная работа
  • Расширенная ДМС с первого рабочего дня 
  • Оплата профильных конференций, курсов, профессиональной литературы 
  • Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter);
  • Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
  • Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
  • Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
  • Помощь в переезде (релокационный бонус).
  • Периодически Костя Оганезов готовит борщ или окрошку.
Вакансия уже неактуальна и находится в архиве