Airflow
Полная загрузка с проверками
Подготовка таблиц, загрузка сущностей, smoke checks, strict checks и журналирование в одном DAG.
5 поток · старт 10 августа
Соберите рабочий ETL-проект: от сырого CSV до Airflow, Spark и BI
Для аналитиков и Junior / Middle DE, которые уже пишут SQL, но пока не собирали весь путь данных руками. Вы поднимете локальный стенд, построите DWH-слои, добавите проверки, соберёте DAG и доведёте данные до витрины.
Срок4–6 недель
Нагрузка6–8 часов в неделю
ДоступStepik и GitHub навсегда
51участник четырёх потоков 4,88 / 5рейтинг автора на Stepik 5 / 5официальные отзывы практикума
До завершенияподдержка без дедлайна
Конкретный результат
Задача из курса встретилась на техническом интервью
Один из участников написал после собеседования: модуль по PostgreSQL помог пройти техническую часть, а очень похожая задача попалась прямо на интервью. В итоге он получил оффер на Data Engineer.
Это не обещание трудоустройства. Это нормальное доказательство того, что задания связаны с реальной инженерной работой.
Посмотреть, что ещё сдавали участники →
Не макеты, а сдачи
Вот что участники действительно собирают и проверяют
У каждого скрина есть рабочий смысл. Это не галерея интерфейсов и не список технологий.
Повторный запуск
99 441 строка до и после
Повторный прогон не удвоил данные. Так проверяется идемпотентность загрузки.
Data Quality
Дубли, ключи и версии
Пайплайн не считается готовым, пока контроль grain, внешних ключей и SCD не вернул PASS.
RAW
Сырые файлы разложены по датам
Данные хранятся по сущности и ingest_date, а не падают одной бесконтрольной кучей.
Spark
Проверяется не только запуск
Задания фиксируют схему, число строк, трансформации и итоговую бизнес-метрику.
Локальный стенд
Сервисы подняты одним контуром
Airflow, Jupyter, MinIO, PostgreSQL, Spark master и два worker запускаются локально и остаются у участника.
В конце остаётся не сертификат ради сертификата, а проект, который можно запустить и объяснить по шагам.
Обсудить вход в практикум