Главный маршрут Spark · Airflow · BI
Готов к DE-практикуму
Уверенно пишете SQL, понимаете базовый Python и готовы 6-8 часов в неделю собирать проект руками.
Пройти диагностику DESQL для собесов и работы: от первых JOIN до сложных оконных
350+ задач с автопроверкой на Stepik, реальные бизнес-кейсы и подготовка к собеседованиям от новичка до уверенного middle. Только то, что реально спрашивают — без воды.
★ 4.9 / 5 • 2300+ студентов • обновления 2026
★ 4.9 / 5 • 2300+ студентов • обновления 2026
Zero Block
Click "Block Editor" to enter the edit mode. Use layers, shapes and customize adaptability. Everything is in your hands.
Tilda Publishing
create your own block from scratch
Дмитрий Кузьмин · Инженерия данных
Data Engineering через практику: от SQL-задач к проекту, который можно показать
Курсы и практикумы для Junior / Middle: SQL с автопроверкой, Python для данных и сквозной ETL-проект на Spark, Postgres, Airflow и BI, который можно разобрать на собеседовании.
Выбор траектории
Сначала уровень, потом маршрут
Главная помогает выбрать следующий шаг: DE-практикум, SQL-линейку, Python для данных или короткую диагностику перед покупкой.
SQL
Сначала добрать SQL
Для тех, у кого проседают JOIN, CTE, окна, даты и задачи в формате собеседований.
Смотреть SQLPY
Сначала Python для данных
Для локальной обработки CSV, JSON, дат, дублей, кривых строк и маленьких batch-пайплайнов.
Смотреть Python?
Не уверен в уровне
Быстрая диагностика покажет, готов ли DE-практикум сейчас и что добрать перед стартом.
Понять уровеньГлавный продукт
DE-практикум: собрать пайплайн, который не стыдно показать
Практикум для Junior / Middle, которым нужен не пересказ документации, а проект руками: RAW, STG, CORE, MARTS, проверки качества, Airflow-запуск и BI-витрина.
Старт 10 августа 2026
Нагрузка 6-8 ч/нед
Стоимость 35 000 ₽
Вход диагностика
de_practicum.pipeline raw -> marts -> BI
01 RAW
сырые файлы, загрузка, структура проекта
02 STG
типы, очистка, контроль входных данных
03 CORE
DWH-слои, ключи, связи, проверки
04 MARTS
витрины, метрики, BI-результат
SQL
DWH-слои без магии
Понимаете, зачем нужны RAW, STG, CORE и MARTS, а не просто повторяете названия.
SP
Spark jobs на проекте
Запускаете обработку данных и видите, где ломаются типы, схемы и качество.
AF
Airflow как оркестратор
Собираете запуск пайплайна так, чтобы результат можно было воспроизвести.
BI
Витрина, которую видно
Финал не лежит в папке. Его можно открыть, показать и нормально объяснить.
Кому рано: если JOIN, CTE или базовый Python пока разваливаются, сначала лучше закрыть базу. Иначе практикум превратится в борьбу с синтаксисом.
Карта навыков
Что нужно Junior / Middle, чтобы не плавать в DE
Не всё надо учить одновременно. Достаточно увидеть 6 опор проекта и понять, где база уже держится, а где лучше добрать подготовку.
SQL база
SQL для данных
Достать, связать и проверить данные без угадайки.
PY база
Python для обработки
Обработать файлы, даты, ошибки и кривые строки.
DWH модель
Слои хранилища
Понимать путь данных от сырья до витрины.
SP объем
Spark jobs
Запустить обработку и понимать, что именно считает job.
AF запуск
Airflow-процесс
Собрать запуск, который повторяется и переживает ошибки.
DQ доверие
Качество и BI
Показать результат и объяснить, почему цифрам можно верить.
Если одна из базовых опор проседает, это не провал. Это сигнал: лучше закрыть дырку до практикума, чем тащить ее в большой проект.
SQL-направление
SQL, который нужен для работы и собеседований
350+ задач с автопроверкой на Stepik: от первых JOIN до оконных функций, CTE и tricky-вопросов, которые любят на интервью.
3 SQL-курса
350+ задач
уровни Jun / Mid
interview_sql.sql accepted
with last_paid_order as (
select
user_id,
order_id,
paid_at,
row_number() over (
partition by user_id
order by paid_at desc
) as rn
from orders
where status = 'paid'
)
select
user_id,
order_id,
paid_at
from last_paid_order
where rn = 1; 01
Не уверен в уровне
Начните с теста. Он быстрее покажет, нужен ли базовый маршрут или уже можно идти в задачи уровня Junior / Middle.
02Нужно добрать базу
JOIN, GROUP BY, CTE, даты и NULL. Это скучно только до первого собеседования, где всё внезапно поплыло.
03Готовишься к Middle
Оконные функции, tricky-задачи и объяснение решения. Здесь важно не угадать запрос, а защитить ход мысли.
Python-направление
Python для DE: данные, файлы и маленькие batch-пайплайны
Если базовый Python уже есть, но код рассыпается на CSV, JSON, датах, дублях и кривых строках, начните отсюда.
40 code-задач
10 уроков
финальный кейс
2500 ₽
batch_transform.py checks passed
from decimal import Decimal
def clean_row(row):
amount = Decimal(row["amount"].replace(",", "."))
if not row["order_id"] or amount <= 0:
return None
return {
"order_id": row["order_id"].strip(),
"event_date": row["event_ts"][:10],
"amount": amount,
"source": "csv_batch",
}Файлы и форматы
Path, CSV, JSON и локальная обработка входных данных без магии и лишних библиотек.
Типы и грязные строки
Даты, timezone offset, Decimal, пустые поля, дубли и rejected rows перед загрузкой.
Маленький пайплайн
В финале собираете связный кейс: прочитать, почистить, проверить и вернуть результат.
Траектория обучения
Минимум лекций, больше практики: от уровня к артефакту
Я строю курсы одинаково: сначала входной уровень, затем короткая теория под задачу, решение руками, проверка и результат, который можно открыть и объяснить.
SQL Python DE-практикум
learning.route artifact ready
01
Определить уровень
Тест или диагностика перед выбором продукта.
02
Взять минимум теории
Ровно то, что нужно для решения текущей задачи.
03
Решить руками
Запрос, Python-скрипт, DWH-слой, DAG или BI-витрина.
04
Проверить решение
Автопроверка, edge cases и обратная связь по результату.
05
Собрать артефакт
То, что можно открыть, показать и объяснить на работе или собеседовании.
SQL-запрос Python batch DWH-слои Airflow DAG BI-витрина
Такой формат держит фокус на навыке: понятный вход, повторяемые задачи, проверка и результат, который выдерживает вопросы на разборе или собеседовании.
Доказательства
Профиль Stepik, отзывы и задачи, которые можно проверить
Здесь собраны проверяемые опоры: профиль автора, реальные цифры по курсам, короткие отзывы студентов и фрагменты задач из SQL-линейки.
13 публичных страниц Stepik
10 продуктов, DE-потоки вместе
3100+ записей на курсы и тесты
490+ задач и проверок
Stepik profile
Кузьмин Дмитрий
Data Engineer, автор практических курсов по SQL, Python и Data Engineering.
Stepik Awards 2025 Номинант в категории "Лучшая система практических заданий".
middle_sql.sample auto checked
Задача 58
Рейтинг продаж по регионам
Построить рейтинг магазинов внутри каждого региона за 2024 год: продажи, выручка и место магазина с учетом равных значений.
SELECT
s.region,
s.store_name,
COUNT(*) AS order_count,
SUM(sa.amount) AS total_sales,
RANK() OVER (
PARTITION BY s.region
ORDER BY SUM(sa.amount) DESC
) AS region_rank
FROM stores s
JOIN sales sa ON sa.store_id = s.store_id
WHERE sa.sale_date >= '2024-01-01'
AND sa.sale_date < '2025-01-01'
GROUP BY s.region, s.store_name;"Курс построен так, чтобы можно было довести до автоматизма решение определенных видов задач."
курс 240980"Задания интересные и, что самое главное, бизнесовые."
курс 238112"Стал намного увереннее в написании запросов и логике их построения."
курс 241009"Задач очень много. Благодарен автору за контент, суперские задачи."
курс 251214 Middle
Рейтинг продаж по регионам
RANK, PARTITION BY, выручка по магазинам и аккуратная сортировка результата.
Interview trap
Опасный GROUP BY
Почему order_id может не соответствовать строке с максимальной датой.
Join trap
Размножение строк
Что происходит с суммой после соединения заказов со справочником тегов.
FAQ
Частые вопросы перед выбором маршрута
Короткие ответы на вопросы, которые обычно решают, куда идти: в DE-практикум, в SQL-подготовку, в Python-курс или сначала на диагностику.
01 Я Junior. Мне не рано в DE-практикум?
Если уверенно пишете базовый SQL, понимаете Python на уровне функций, файлов и простых структур данных, готовы выделять 6-8 часов в неделю, можно идти на диагностику. Если база плавает, лучше сначала закрыть SQL или Python.
02 Что делать, если SQL слабый?
Идти в SQL-направление. Для DE особенно важны JOIN, GROUP BY, CTE, окна, даты, NULL и умение объяснить зерно результата. Слабый SQL в большом проекте быстро превращается в шум.
03 Нужен ли сильный Python?
Нужен рабочий минимум: функции, файлы, даты, типы, ошибки, CSV, JSON и простая batch-логика. Если код ломается на грязных строках и форматах, лучше начать с Python-курса для данных.
04 Потянет ли мой ноутбук Docker?
Для практикума нужен локальный стенд с Docker. Комфортнее работать на машине с 16 GB RAM и свободным местом под образы, но точные требования лучше проверить перед стартом на диагностике.
05 Сколько времени нужно в неделю?
Для DE-практикума ориентир 6-8 часов в неделю. SQL и Python можно проходить более гибко, но регулярность важнее длинных рывков раз в две недели.
06 Что будет после диагностики?
Вы получите понятный маршрут: идти в DE-практикум, добрать SQL, закрыть Python для данных или подождать следующего потока. Диагностика нужна, чтобы не покупать продукт наугад.
Следующий шаг
Начните с диагностики и выберите точный маршрут
Если цель - Data Engineering, диагностика быстро покажет входной уровень: идти в практикум сейчас, добрать SQL, подтянуть Python или дождаться следующего потока.
route.check next step
01
Проверить вход
SQL, Python, время на проект, готовность к локальному стенду.
02
Выбрать маршрут
DE-практикум, SQL-линейка, Python для данных или пауза до следующего набора.
03
Собрать результат
Задачи, проверка, проектный артефакт и материал для собеседований.
DE-практикум SQL Python диагностика
Все курсы
Выберите под ваш уровень и цель
SQL-тест: Узнай свой уровень — от новичка до мидла+
Бесплатный тест на 1 - 2 часа для оценки своего уровня SQL 15 тестов 20 задач разной сложности Чек - лист по развитию навыков
4 200 ₽ В корзину
Набор стаканов «Облако»
Четыре матовых стакана из боросиликатного стекла. Устойчивы к перепадам температур, подходят для холодных и горячих напитков.
2 800 ₽ В корзину
Подушка «Меандр»
Хлопковый чехол с геометрическим принтом. Наполнитель — memory foam, обеспечивает идеальную поддержку шеи.
3 500 ₽ В корзину
Все курсы
Выберите под ваш уровень и цель
-
Бесплатный тест на 1 - 2 часа для оценки своего уровня SQL
15 тестов
20 задач разной сложности
Чек - лист по развитию навыков
Бесплатно -
Уверенная база SQL: от первого SELECT до оконок — на задачах и мини-проекте.- 280+ заданий и тестов с автопроверкой
- 2 трен. БД, разбор типичных ошибок
- Мини-проект, поддержка в Telegram
Статистика: ≈130 задач • ≈150 тестов • 15–30 ч • Обновления навсегда
3190 Р. -
Все частые вопросы собесов Junior — без угадываний.- 100 задач с автопроверкой и подсказками
- «Ловушки интервьюера» и разбор логики
- Реальные кейсы собеседований
Статистика: 100 задач • 20–30 ч • Обновления навсегда
2690 Р. -
Продвинутые окна, tricky-условия и чистый код.- 100 задач Middle-уровня, «что если…»
- Анти-грабли и мини-рефакторинг решений
- Кейсы из интервью и продакшена
Статистика: 100 задач • 25–35 ч • Обновления навсегда
3490 Р. -
Путь от Junior до Middle с практикой.
Состав: 200 задач, автопроверка, обновления.
Выгода: 500Р.
5390 Р. -
До Upper-Middle без пропусков.
Состав: 250 задач, tricky-кейсы, и поддержка.
Выгода: 1800Р.
8690 Р. -
Мыслишь как архитектор: CTE-пайплайны и edge-кейсы.- 50 архитектурных мини-кейсов
- Формат: вводная → CTE → окна → фильтр
- Разбор сложных сценариев
Статистика: 50 задач • 20–30 ч • Обновления навсегда
4290 Р. -
Практический мини-квест про реальный конфликт.- Роль дата инженера в компании
- 4 миссии за ночь
- Формат большой бизнес проблемы
- Игровая сценарная подача
990 Р.
Таблица сравнения
Категория
Основы SQL
Junior
Middle
Upper-Middle
Старт
С нуля / после перерыва
Знаю базу, нужна уверенность
Пройден Junior, хочу сложные кейсы
Уверенный Junior/Middle, хочу архитектуру
Итог
Фундамент SQL + мини-проект
Проходишь скрининг и аргументируешь решения
Окна, tricky-условия, рефакторинг
CTE-пайплайны, edge-кейсы, читаемость
Темы
SELECT · JOIN · GROUP BY/HAVING · NULL/CASE · CTE · ROW_NUMBER/LAG
SELECT/WHERE · JOIN/LEFT/INNER · GROUP BY/HAVING · NULL · Подзапросы
LAG/LEAD · RANK/DENSE_RANK · CTE · Подзапросы · Time series · FRAME
CTE 2–5 · Окна+агрегаты · Когорты/сессии · EXISTS · Порядок
Инструменты
SELECT · JOIN · GROUP BY · HAVING · CASE · DDL · CSV import
IN/LIKE · JOIN/LEFT/INNER · COUNT/SUM/AVG · Подзапросы
ROW_NUMBER/RANK · LAG/LEAD · CTE · CASE/COALESCE · FRAME
WITH/RECURSIVE (опц.) · EXISTS · Фильтрация после окон
Задачи
130
100
100
50
Тесты
150
—
—
—
Проект
Мини-проект
Кейсовые разборы
Кейсовые разборы
Кейсовые разборы
Поддержка
Чат + комментарии
Комментарии
Комментарии
Комментарии
Сертификат
✓
✓
✓
✓
Время, ч
15 – 30
20 – 30
25 – 35
20 – 30
Что именно закроют эти курсы по SQL
Перестанёшь бояться собесов
Перестанёшь бояться собесов
Разберёшь типовые форматы задач: от простых выборок до вложенных запросов и оконных функций. Будешь понимать, что от тебя хотят и как к этому подойти.
JOIN и группировки станут понятными
JOIN и группировки станут понятными
Отработаем связки JOIN + GROUP BY + HAVING на десятках кейсов.
Оконные функции — как рабочий инструмент, а не страшное слово
Оконные функции — как рабочий инструмент, а не страшное слово
LAG/LEAD, RANK, оконные агрегаты, скользящие расчёты — всё на реальных задачах: метрики пользователей, заказы, выручка, рейтинги.
Появится стратегия решения задач, а не заученные шаблоны
Появится стратегия решения задач, а не заученные шаблоны
В каждой задаче разбираем ход мыслей: с чего начать, как декомпозировать условие, где проще использовать CTE/подзапрос, где — оконку.
Соберёшь кейсы в портфолио и истории для собеса
Соберёшь кейсы в портфолио и истории для собеса
К концу курса у тебя будет набор задач, которые можно честно описывать на интервью: «решал похожее», «вот пример витрины/аналитического запроса».
Научишься объяснять решения человеческим языком
Научишься объяснять решения человеческим языком
В заданиях отдельно отмечаем, как презентовать результат: какие шаги проговорить, что показать в плане запроса, как ответить на уточняющие вопросы.
Кому подойдут курсы
Выбери свою точку входа — программа подстроится под твой уровень.
- Боли:
- Путаюсь в JOIN и группировках
- Не понимаю, где применять оконные
- Хочу основу без воды и лишней теории
- Основа SQL без воды
- Мини-проект
- Типичные ошибки и как их избегать
- Уверенно пишешь базовые запросы: SELECT, WHERE, JOIN, GROUP BY/HAVING.
- Понимаешь, что и когда применять.
Курс «Основы: обучение и практика» — 280+ заданий, 2 базы данных, мини-проект, автопроверка. - Боли:
- Нужна уверенность на собеседовании
- Скользкие задачи и edge-кейсы валят
- Хочу наработать скорость и объяснять решения
- 100 задач уровня Junior
- Кейсы собесов без угадываний
- Подсказки и ловушки
- Проходишь скрининг
- аргументируешь решения
- уверенно работаешь с соединениями и группировками.
«100 задач уровня Junior» — реальные кейсы собесов, подсказки и «ловушки интервьюера». - Боли:
- Сложные окна, EXISTS, временные ряды
- Не хватает стратегии решения задач
- Хочу прокачать архитектуру запросов
- 100 задач уровня Middle
- Временные ряды, RANK/DENSE_RANK, LAG/LEAD
- Решаешь tricky-условия,
- оконные функции, CTE-пайплайны и подзапросы.
- Умеешь объяснить стратегию решения.
«100 задач Middle» → затем «Архитектура и CTE» (пайплайны, декомпозиция, edge-кейсы).
Как устроено обучение
- Платформа StepikВсё в браузере и приложении. Никаких установок БД и танцев с окружением — сразу пишешь запросы и видишь результат.
- Интерактивные тренажёры с автопроверкойВбил запрос → мгновенно увидел, что не сходится: количество строк, названия колонок, порядок, сами данные. Ошибки видно сразу, а не «где-то не так».
- Три уровня сложности внутри одной экосистемыМожно зайти с нуля, дойти до middle или прийти уже с опытом и забрать только сложные блоки. Прогресс и доступ ко всем задачам остаётся.
- Доступ навсегда + обновленияВозвращаешься к задачам перед новым собесом, а я докручиваю курс по свежим паттернам и запросам рынка.
- Поддержка в TelegramЕсли где-то застрял — можно задать вопрос, разобрать решение и получить человеческую обратную связь, а не просто «Wrong answer».
Как выглядят задачи
Пример задачи уровня Middle
В аналитике поведения пользователей необходимо рассчитать среднюю длительность пользовательских сессий за последние 30 дней.
Учитываются только завершённые сессии (то есть с заполненным session_end), при этом опорной точкой считается самая поздняя дата завершения сессии в таблице.
Нужно вывести всех пользователей, даже тех, у кого не было завершённых сессий за последние 30 дней — для них поле avg_session_minutes должно быть NULL.
Отсортируйте результат по user_id по возрастанию.
Работаем с таблицами:
Отсортировать результат по user_id — по возрастанию.
Учитываются только завершённые сессии (то есть с заполненным session_end), при этом опорной точкой считается самая поздняя дата завершения сессии в таблице.
Нужно вывести всех пользователей, даже тех, у кого не было завершённых сессий за последние 30 дней — для них поле avg_session_minutes должно быть NULL.
Отсортируйте результат по user_id по возрастанию.
Работаем с таблицами:
- users — содержит ID и имя пользователя
- sessions — содержит ID сессии, ID пользователя, дату начала и дату завершения
- user_id — ID пользователя
- user_name — имя пользователя
- avg_session_minutes — средняя длительность завершённых сессий за последние 30 дней (в минутах, округлить до 2 знаков)
Отсортировать результат по user_id — по возрастанию.
- Найдите MAX(session_end) — это верхняя граница периода
- Вычислите длительность сессии в минутах через TIMESTAMPDIFF
- Используйте LEFT JOIN — чтобы сохранить всех пользователей
Здесь ответ к задаче в табличном виде
WITH max_end AS (
SELECT MAX(session_end) AS max_session_end
FROM sessions
WHERE session_end IS NOT NULL
),
session_durations AS (
SELECT
s.user_id,
TIMESTAMPDIFF(MINUTE, s.session_start, s.session_end) AS session_minutes
FROM sessions s
JOIN max_end m
ON s.session_end BETWEEN m.max_session_end - INTERVAL 30 DAY AND m.max_session_end
WHERE s.session_end IS NOT NULL
),
avg_durations AS (
SELECT
user_id,
ROUND(AVG(session_minutes), 2) AS avg_session_minutes
FROM session_durations
GROUP BY user_id
)
SELECT
u.user_id,
u.user_name,
a.avg_session_minutes
FROM users u
LEFT JOIN avg_durations a ON u.user_id = a.user_id
ORDER BY u.user_id;
SELECT MAX(session_end) AS max_session_end
FROM sessions
WHERE session_end IS NOT NULL
),
session_durations AS (
SELECT
s.user_id,
TIMESTAMPDIFF(MINUTE, s.session_start, s.session_end) AS session_minutes
FROM sessions s
JOIN max_end m
ON s.session_end BETWEEN m.max_session_end - INTERVAL 30 DAY AND m.max_session_end
WHERE s.session_end IS NOT NULL
),
avg_durations AS (
SELECT
user_id,
ROUND(AVG(session_minutes), 2) AS avg_session_minutes
FROM session_durations
GROUP BY user_id
)
SELECT
u.user_id,
u.user_name,
a.avg_session_minutes
FROM users u
LEFT JOIN avg_durations a ON u.user_id = a.user_id
ORDER BY u.user_id;
- Почему используем LEFT JOIN? — Чтобы сохранить пользователей без сессий в выборке
- Какой смысл использовать CTE с max_date? — Чтобы избежать повторного вызова MAX() и обеспечить стабильную точку отсчёта
- Что будет, если session_end = NULL? — Такие сессии считаются незавершёнными и исключаются
- Как отобразить продолжительность в часах с дробной частью? — Замените MINUTE на SECOND и поделите на 3600
Почему это работает
Практика, проверка и поддержка
- 350+ задач с автопроверкойТренируешься на реальных форматах собесов. Результат виден сразу.
- Пошаговая логика решенийРазбираем, почему работает запрос: от идеи → CTE → финальный select.
- Кейсы уровня собесаНе учебные игрушки, а задачи с подводными камнями и edge-кейсами.
- Обновления + edge-кейсыРегулярно добавляю tricky-кейсы и улучшаю проверки.
- Нарастающий уровень сложностиОт базовых конструкций к окнами и архитектуре — плавно, но жёстко.
- Поддержка в Telegram и комментариях курсаВопросы по коду — в чат и комментарии курсов. Помогу понять ошибку и ускорить прогресс.
Попробуйте 5 задач Middle бесплатно
FAQ
Часто задаваемые вопросы
Да, есть бандлы 2-в-1 (Junior+Middle) и 3-в-1 (до Upper-Middle).
Периодически делаю скидки, пиши в ТГ.
Периодически делаю скидки, пиши в ТГ.
Задачи и проверки — в диалекте MySQL во всех курсах.
В курсе по основам SQL — инструкции и SQL/CSV-файлы, работаем в DBeaver.
Реальные навыки переносимы в другие диалекты.
В курсе по основам SQL — инструкции и SQL/CSV-файлы, работаем в DBeaver.
Реальные навыки переносимы в другие диалекты.
Видео есть только в курсе по основам SQL.
В остальных практикумах упор делается на практические задачи.
В остальных практикумах упор делается на практические задачи.
В среднем:
- Основы 15–30 ч,
- Junior 20–30 ч,
- Middle 25–35 ч,
- Upper-Middle 20–30 ч.
Возврат по правилам Stepik.
Начните с Junior. Если уверенно решаете базовые задачи — переходите на Middle и Архитектуру/CTE.
Да, материалы и обновления остаются у тебя.
Комментарии во всех курсах, у «Основ» дополнительно чат в Telegram.
Да: демо в «Основах» и по 5 задач в Junior/Middle.
Не обязательно. Excel/Python — плюс, но упор на SQL.
Не нашли ответ?
Напишите в Telegram — отвечаю в течение дня.
Напишите в Telegram — отвечаю в течение дня.
Готовы прокачать SQL?
Начните с бесплатного курса —
15 тестов и 20 задач для разогрева.
15 тестов и 20 задач для разогрева.
... а что насчет практики Data Engineer?
Предзапись на поток 5 на август 2026 года