Управление качеством данных: Data Quality и мастер-данные

О чём курс

Александр Бергер и Татьяна Водовозова разбирают методологии и технические решения для построения процессов Data Quality и Data Governance в корпоративной среде. Обучение ориентировано на практическую интеграцию инструментов контроля данных, выстраивание взаимодействия между бизнесом и техническими командами, а также выполнение регуляторных требований.

Вы научитесь выявлять дубликаты, пропуски и аномалии, рассчитывать ROI инициатив по качеству данных и аргументировать их пользу руководству. В практической части предусмотрена проектная работа, задачи которой можно адаптировать под текущие рабочие проекты в компании.

Кому подойдёт

Материал рассчитан на специалистов, уже имеющих опыт работы с корпоративными хранилищами и понимающих принципы хранения и обработки информации. Программа ориентирована на следующие роли:

• аналитики и дата-инженеры, работающие с данными на постоянной основе;
• менеджеры данных и специалисты по Data Governance;
• руководители и специалисты по цифровой трансформации.

Для успешного прохождения требуются навыки составления базовых запросов SQL с использованием операторов SELECT, JOIN и WHERE, владение языком Python для аналитики, а также опыт взаимодействия с таблицами, Excel или BI-инструментами.

Что изучается

Программа охватывает четыре основных направления работы с данными: от базовых методологий до внедрения инструментов и управления инцидентами.

В блоке методологий разбираются стандарты DMBOK и ISO 8000, концепция Data Observability, разграничение зон ответственности и построение корпоративного бизнес-глоссария. Вы изучите методы расчета операционных метрик и оценки финансовой эффективности инициатив.

Технический блок сфокусирован на интеграции специализированных решений в существующую архитектуру, настройке автоматических проверок, создании дашбордов мониторинга и алертов. Отдельное внимание уделяется проверкам в машинном обучении: валидации входящих потоков и борьбе с дрифтом данных.

Раздел оценки качества включает профилирование данных, формулирование бизнес-правил и поиск скрытых аномалий. В завершающем модуле рассматриваются управление инцидентами (Data Quality Incident Management), соблюдение требований GDPR и 152-ФЗ, концепции Data Contracts и Data Mesh, а также способы презентации метрик бизнесу через Data Storytelling и повышение общего уровня data literacy.

Инструменты

В ходе практических заданий используются прикладные решения для автоматизации и управления:

• Soda — инструмент для автоматизации контроля качества, настройки правил валидации, отслеживания ошибок и формирования отчетов;
• OpenMetadata — платформа управления метаданными, позволяющая вести Data Catalog, отслеживать происхождение данных (lineage) и структурировать процессы управления;
• Airflow — оркестратор для планирования, запуска и контроля ETL-пайплайнов и регулярных задач обработки данных;
• dbt tests — инструменты тестирования данных внутри аналитического пайплайна.

Преподаватели

Занятия ведут практикующие эксперты в области инженерии и управления данными:

• Александр Бергер — Lead Data Quality, руководитель курса;
• Татьяна Водовозова — руководитель направления DWH аналитики;
• Павел Ташкинов — дата-стюард;
• Наиля Галимова — Lead в Data Governance;
• Руслан Усачёв — Data Engineer и специалист по Data Quality.