SQL и Python для проверки данных: автотесты и Great Expectations
О чём курс
Вы соберёте систему контроля качества данных для аналитического e-commerce пайплайна. Она будет проверять данные на каждом этапе и останавливать пайплайн при обнаружении проблем. По словам автора, итоговый шаблон можно использовать в рабочем проекте.
Что вы изучите
Вы научитесь писать SQL-проверки на пропуски, дубликаты, допустимые диапазоны и связи между таблицами. На данных интернет-магазина вы найдёте ошибки и проверите изменения схемы.
Для валидации данных в Python вы используете Pydantic и Pandera. С Great Expectations вы настроите автоматические проверки, соберёте набор правил и познакомитесь с отчётами Data Docs.
Сквозной проект и формат
В течение курса вы будете строить аналитический пайплайн для e-commerce. Каждый модуль добавляет слой контроля: от SQL-проверок и Python-валидации до мониторинга и запуска проверок в Airflow.
Вы настроите мониторинг свежести, объёма и схемы данных, затем встроите проверки в Airflow DAG и остановку пайплайна при ошибках. Результат финального проекта можно сравнить с эталоном.
Курс включает 38 уроков, 25 минут видео и 23 теста.
Кому подойдёт
Курс рассчитан на аналитиков данных, а также дата-инженеров уровня junior и middle, которые уже работают с SQL и Python. Для занятий нужны базовые знания SQL, включая SELECT, JOIN и GROUP BY, и Python: функции, циклы и работа с pandas. Остальные темы разбирают с нуля.
Программа обучения
- О чём этот курс и кому он подойдёт
- Как пройти курс и получить результат
- Почему Data Quality решает, можно ли доверять данным
- Как будет устроен ваш Data Quality pipeline
- Какие ошибки чаще всего встречаются в данных
- Почему пайплайны «зелёные», а данные - нет
- 5 типов проверок, без которых нельзя доверять данным
- Практика: находим ошибки в данных интернет-магазина
- Практика: ищем реальные проблемы в данных
- Почему SQL= лучший стартовый инструмент для проверки данных
- Как находить пропуски (NULL) в данных
- Как находить дубликаты и почему они ломают метрики
- Как проверять диапазоны значений (validity checks)
- Как проверять связи между таблицами
- Как ловить изменения схемы до того, как всё сломается
- Практика: пишем SQL-проверки как в реальной работе
- Когда SQL уже не хватает и нужен Python
- Как валидировать данные с Pydantic
- Как проверять DataFrame с Pandera
- Практика: собираем pipeline проверок в Python
- Практика: что делать, если данные не прошли проверку
- Что такое Great Expectations и зачем он нужен
- Какие проверки бывают в Great Expectations
- Как собрать свой набор проверок (validation suite)
- Как смотреть отчёты и Data Docs
- Практика: проверяем датасет через Great Expectations
- Что такое Data Observability и зачем он нужен
- Как проверять свежесть данных (freshness)
- Как отслеживать объём данных (volume checks)
- Как отслеживать изменения схемы
- Практика: настраиваем мониторинг данных
- Где и когда запускать проверки в пайплайне
- Как добавить проверки в Airflow DAG
- Как останавливать пайплайн при ошибках данных
- Практика: встраиваем проверки в Airflow DAG
- Финальный проект: что нужно собрать
- Собираем Data Quality pipeline шаг за шагом
- Проверяем себя и сравниваем с эталоном
Запишитесь бесплатно — цена упадёт для всех
У автора этот материал стоит 1 690 ₽. В складчине сумму делят на всех: чем больше участников, тем меньше взнос каждого.
1 Оставляете email Без оплаты и без карты. Пришлём, как занять место в складчине на нашем основном сайте.
2 Складчина набирает людей Сейчас 10 участников и взнос 253 ₽. Ещё 4 человека — и он опустится до 190 ₽.
3 Открывается сбор Присылаем итоговую цену. Устроит — платите и получаете материалы. Нет — просто не платите.
- 843 ₽ 3 уч.
- 506 ₽ 5 уч.
- 253 ₽ 10 уч. сейчас
- 190 ₽ 14 уч. цель
Запись ни к чему не обязывает: платите, только если итоговый взнос вас устроит.
Теги курса
Другие материалы автора 2
Максим Мигутин Все материалыОтзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.