Airflow
Полная загрузка с проверками
Подготовка таблиц, загрузка сущностей, smoke checks, strict checks и журналирование в одном DAG.
5 поток · старт 10 августа
Соберите рабочий ETL-проект: от сырого CSV до Airflow, Spark и BI
Для аналитиков и Junior / Middle DE, которые уже пишут SQL, но пока не собирали весь путь данных руками. Вы поднимете локальный стенд, построите DWH-слои, добавите проверки, соберёте DAG и доведёте данные до витрины.
Срок4–6 недель
Нагрузка6–8 часов в неделю
ДоступStepik и GitHub навсегда
51участник четырёх потоков 4,88 / 5рейтинг автора на Stepik 5 / 5официальные отзывы практикума
До завершенияподдержка без дедлайна
Конкретный результат
Задача из курса встретилась на техническом интервью
Один из участников написал после собеседования: модуль по PostgreSQL помог пройти техническую часть, а очень похожая задача попалась прямо на интервью. В итоге он получил оффер на Data Engineer.
Это не обещание трудоустройства. Это нормальное доказательство того, что задания связаны с реальной инженерной работой.
Посмотреть, что ещё сдавали участники →
Не макеты, а сдачи
Вот что участники действительно собирают и проверяют
У каждого скрина есть рабочий смысл.
Повторный запуск
99 441 строка до и после
Повторный прогон не удвоил данные. Так проверяется идемпотентность загрузки.
Data Quality
Дубли, ключи и версии
Пайплайн не считается готовым, пока контроль grain, внешних ключей и SCD не вернул PASS.
RAW
Сырые файлы разложены по датам
Данные хранятся по сущности и ingest_date, а не падают одной бесконтрольной кучей.
Spark
Проверяется не только запуск
Задания фиксируют схему, число строк, трансформации и итоговую бизнес-метрику.
Локальный стенд
Сервисы подняты одним контуром
Airflow, Jupyter, MinIO, PostgreSQL, Spark master и два worker запускаются локально и остаются у участника.
В конце остаётся проект, который можно запустить и объяснить по шагам.
Обсудить вход в практикумОбновлённый модуль Spark
Код выполнился. А что на самом деле делал Spark?
В практикуме вы не ограничиваетесь запуском PySpark-кода. На одном выполнении связываете Job, Query и Stage, а затем проверяете выводы по фактическим метрикам Spark UI.
Разложить запуск по уровням
Понять, где заканчивается Job, почему появились новые Stages и на какие Tasks разбилась работа.
Прочитать физический план
Найти Scan, Filter, Exchange, SortMergeJoin и HashAggregate. Не угадывать по коду, а видеть выбранный Spark путь.
Проверить узкое место цифрами
Сравнить duration, входные строки, GC и shuffle между задачами. Сначала собрать доказательства, потом менять код или партиции.
Физический план joinДва чтения, Exchange, сортировка и SortMergeJoin в одном графе. 
Job и DAGПереход от действия к Stage и Tasks. 
Runtime-метрикиВремя, GC, число строк и shuffle по каждой задаче. Если эти экраны пока выглядят сложно, это нормально
Посмотреть место Spark в программе Модуль начинается с архитектуры Driver, Master, Worker и Executor. Дальше каждый экран читается на своём запуске, а не по чужой картинке.
Зачем всё это
Пять ситуаций, где заканчивается «я знаю SQL» и начинается инженерная работа
Стек важен только тогда, когда помогает разобрать конкретную проблему с данными.
Файл пришёл повторно
Артефакт: сверка до / послеПроверяем ключ загрузки и идемпотентность. После повторного запуска число строк не меняется.
В факте появились дубли или сироты
Артефакт: DQ checks со статусом PASSФиксируем grain, проверяем внешние ключи и не пропускаем плохой batch дальше по цепочке.
DAG упал на середине
Артефакт: граф, логи и повторный runНаходим проблемную задачу по статусу и логам, исправляем причину и перезапускаем только нужную часть.
Spark job работает не так, как ожидалось
Артефакт: Spark UI и проверки jobОткрываем Jobs, Stages, Tasks и Executors, читаем план и смотрим, как распределилась работа.
Цифра в BI не сходится с источником
Артефакт: reconciliation и BI-витринаПроверяем витрину, слой-источник и контрольную сверку. Результат должен быть объяснимым, а не просто красивым.
Главный навык
Проверить, готов ли я к такому формату Не запомнить названия инструментов, а понимать путь данных, уметь найти место ошибки и доказать корректность результата.
Проверка и поддержка
С ошибкой не нужно оставаться один на один
Практика в том и состоит, чтобы запустить, увидеть проблему, прочитать лог и довести шаг до рабочего состояния.
Получаете конкретную задачу
Есть входные данные, ожидаемый результат и критерии проверки.
Запускаете всё локально
Не просто смотрите видео, а поднимаете сервисы, пишете SQL, job или DAG.
Присылаете результат
Код, лог, скрин проверки или вопрос с контекстом. Не «у меня не работает», а нормальная диагностика.
Разбираем причину
Я смотрю логику и артефакт. Если нужно, объясняю, где именно развалился путь данных.
Исправляете и идёте дальше
Поддержка остаётся до полного прохождения, даже если ваш темп медленнее потока.
Один проект, восемь этапов
Программа практикума
Каждый этап добавляет рабочий кусок в тот же проект. Не восемь разрозненных мини-курсов.
Стенд и окружение
Docker Compose, сервисы, подключения, первый smoke check.
Приём файлов и RAW
Входные наборы, ingest_date, хранение сырья и повторный запуск.
STG и очистка
Типы, даты, пустые значения, дубли и rejected rows.
CORE-модель
Факты, измерения, ключи, связи и устойчивый grain.
Spark jobs
Трансформации, партиции, wide / narrow operations, Spark UI и запуск job.
MARTS и сверки
Витрины, бизнес-метрики и контроль результата относительно источника.
Airflow
DAG, зависимости, ретраи, логи, проверки и безопасный перезапуск.
BI и защита проекта
Дашборд, описание решений и история проекта для собеседования.
Если база уже держится
- SELECT, JOIN, GROUP BY и CTE не пугают;
- можете прочитать и поправить простую Python-функцию;
- готовы поставить Docker и разбирать логи;
- есть стабильные 6–8 часов в неделю.
Когда проект станет борьбой с базой
- SQL пока начинается с нуля;
- Python-код невозможно читать;
- на компьютере нельзя поднять Docker;
- нужен формат «посмотреть видео» без практики.
Диагностика
Сначала проверим вход, потом решим маршрут
Шесть коротких вопросов: цель, SQL, Python, понимание кода, окружение и время. В конце получите честный маршрут: практикум сейчас, добор базы или следующий поток.
Это не экзамен
Нормальная диагностика не должна заваливать. Она нужна, чтобы дорогой практикум не превратился в борьбу с SQL, Python или Docker.
Вопрос 1 из 6
Маршрут
Отзывы участников
Что именно оказалось полезным
Это отзывы на Stepik. Их можно открыть целиком и посмотреть без пересказа с моей стороны.
«Сквозной пример обработки данных от RAW до BI-дашбордов, готовый каркас ETL, широкий охват инструментов и очень много практики».
В отзыве есть и замечания к глубине теории. Это полезная обратная связь: по ней я расширил объяснения в сложных местах и полностью обновил модуль по Spark.
«После прохождения курса теперь есть полная картина и понимание, как работать с данными. Материалы подаются структурированно, по мере возрастания сложности».
Отдельно участник отметил количество практики, понятную последовательность и возможность быстро получить ответ, когда возник вопрос.
Отзывы не заменяют проверку формата
Участники приходят с разным опытом. Поэтому перед заявкой можно бесплатно поднять демо или пройти диагностику входа. Так честнее, чем убеждать каждого, что практикум точно ему подойдёт.
Участие в пятом потоке
Можно идти в своём темпе. Поддержка не закончится вместе с календарём потока
Старт нужен, чтобы зайти в проект вместе. Доступ к курсу и приватному репозиторию останется у вас навсегда, а я продолжу проверять работы до полного прохождения.
Старт10 августа 2026
Стоимость35 000 ₽
Нагрузка6–8 часов в неделю
В стоимость входят
- курс на Stepik и обновления без ограничения по времени;
- приватный GitHub-репозиторий полного проекта;
- проверка заданий и помощь с ошибками до завершения;
- локальный стенд Docker, Postgres, MinIO, Spark, Airflow и BI;
- артефакты проекта, которые можно разобрать на собеседовании.
После заявки я посмотрю вашу базу и цель. Если практикум сейчас не подходит, скажу об этом прямо.
Что нужно знать до старта?
Уверенно пользоваться SELECT, JOIN, GROUP BY и CTE, читать простой Python-код и быть готовым поставить Docker по инструкции. Spark и Airflow заранее знать не нужно.
Что, если я не успею за 4–6 недель?
Ничего страшного. Материалы не закроются, а проверка и поддержка продолжатся. Срок показывает нормальный темп, а не дедлайн доступа.
Какой компьютер нужен?
Комфортно работать с 16 ГБ оперативной памяти. Минимум 12 ГБ. Нужны Windows 10/11, Linux или macOS, свободное место и включённая виртуализация.
Чем бесплатное демо отличается от практикума?
Демо показывает формат на Postgres и Airflow и даёт две небольшие задачи. В полном проекте добавляются Spark, MinIO, Jupyter, BI, полноценные DWH-слои, проверки и личная обратная связь.
Практикум гарантирует трудоустройство?
Нет. Он даёт проект, практику и материал для предметного разговора на собеседовании. Результат на рынке зависит от вашей базы, прохождения и вакансий.
Заявка на DE-практикум
Старт 10 августа · стоимость 35 000 ₽ · нагрузка 6–8 часов в неделю.
Ответьте на несколько коротких вопросов. Я посмотрю вашу входную точку и напишу в Telegram в течение дня. Перед оплатой сверим, подходит ли вам программа и темп.
Ответьте на несколько коротких вопросов. Я посмотрю вашу входную точку и напишу в Telegram в течение дня. Перед оплатой сверим, подходит ли вам программа и темп.
Нажимая «Отправить заявку», вы соглашаетесь на <a href="https://kuzmin-dmitry.ru/personal-data-consent" target="_blank">обработку персональных данных</a> и принимаете <a href="https://kuzmin-dmitry.ru/privacy" target="_blank">политику конфиденциальности</a>.