SQL и Python для проверки данных: автотесты и Great Expectations

10 участников

О чём курс

Вы соберёте систему контроля качества данных для аналитического e-commerce пайплайна. Она будет проверять данные на каждом этапе и останавливать пайплайн при обнаружении проблем. По словам автора, итоговый шаблон можно использовать в рабочем проекте.

Что вы изучите

Вы научитесь писать SQL-проверки на пропуски, дубликаты, допустимые диапазоны и связи между таблицами. На данных интернет-магазина вы найдёте ошибки и проверите изменения схемы.

Для валидации данных в Python вы используете Pydantic и Pandera. С Great Expectations вы настроите автоматические проверки, соберёте набор правил и познакомитесь с отчётами Data Docs.

Сквозной проект и формат

В течение курса вы будете строить аналитический пайплайн для e-commerce. Каждый модуль добавляет слой контроля: от SQL-проверок и Python-валидации до мониторинга и запуска проверок в Airflow.

Вы настроите мониторинг свежести, объёма и схемы данных, затем встроите проверки в Airflow DAG и остановку пайплайна при ошибках. Результат финального проекта можно сравнить с эталоном.

Курс включает 38 уроков, 25 минут видео и 23 теста.

Кому подойдёт

Курс рассчитан на аналитиков данных, а также дата-инженеров уровня junior и middle, которые уже работают с SQL и Python. Для занятий нужны базовые знания SQL, включая SELECT, JOIN и GROUP BY, и Python: функции, циклы и работа с pandas. Остальные темы разбирают с нуля.

Программа обучения

  • О чём этот курс и кому он подойдёт
  • Как пройти курс и получить результат
  • Почему Data Quality решает, можно ли доверять данным
  • Как будет устроен ваш Data Quality pipeline
  • Какие ошибки чаще всего встречаются в данных
  • Почему пайплайны «зелёные», а данные - нет
  • 5 типов проверок, без которых нельзя доверять данным
  • Практика: находим ошибки в данных интернет-магазина
  • Практика: ищем реальные проблемы в данных
  • Почему SQL= лучший стартовый инструмент для проверки данных
  • Как находить пропуски (NULL) в данных
  • Как находить дубликаты и почему они ломают метрики
  • Как проверять диапазоны значений (validity checks)
  • Как проверять связи между таблицами
  • Как ловить изменения схемы до того, как всё сломается
  • Практика: пишем SQL-проверки как в реальной работе
  • Когда SQL уже не хватает и нужен Python
  • Как валидировать данные с Pydantic
  • Как проверять DataFrame с Pandera
  • Практика: собираем pipeline проверок в Python
  • Практика: что делать, если данные не прошли проверку
  • Что такое Great Expectations и зачем он нужен
  • Какие проверки бывают в Great Expectations
  • Как собрать свой набор проверок (validation suite)
  • Как смотреть отчёты и Data Docs
  • Практика: проверяем датасет через Great Expectations
  • Что такое Data Observability и зачем он нужен
  • Как проверять свежесть данных (freshness)
  • Как отслеживать объём данных (volume checks)
  • Как отслеживать изменения схемы
  • Практика: настраиваем мониторинг данных
  • Где и когда запускать проверки в пайплайне
  • Как добавить проверки в Airflow DAG
  • Как останавливать пайплайн при ошибках данных
  • Практика: встраиваем проверки в Airflow DAG
  • Финальный проект: что нужно собрать
  • Собираем Data Quality pipeline шаг за шагом
  • Проверяем себя и сравниваем с эталоном
Складчина создана 11 ноября 2026 г.

Запишитесь бесплатно — цена упадёт для всех

У автора этот материал стоит 1 690 ₽. В складчине сумму делят на всех: чем больше участников, тем меньше взнос каждого.

  1. 1 Оставляете email

    Без оплаты и без карты. Пришлём, как занять место в складчине на нашем основном сайте.

  2. 2 Складчина набирает людей

    Сейчас 10 участников и взнос 253 ₽. Ещё 4 человека — и он опустится до 190 ₽.

  3. 3 Открывается сбор

    Присылаем итоговую цену. Устроит — платите и получаете материалы. Нет — просто не платите.

  • 843 ₽ 3 уч.
  • 506 ₽ 5 уч.
  • 253 ₽ 10 уч. сейчас
  • 190 ₽ 14 уч. цель

Запись ни к чему не обязывает: платите, только если итоговый взнос вас устроит.

Теги курса

Навыки
Инструменты

Другие материалы автора 2

Максим Мигутин Все материалы
190 ₽ Записаться бесплатно