Симулятор Data Warehouse Analytics Engineer на базе dbt

Павел Рословец обучает построению хранилищ данных и внедрению DataOps-практик на базе dbt через решение практических задач в интерактивном симуляторе.

О чём симулятор

Обучение сосредоточено на работе с dbt — инструментом для преобразования, тестирования и документирования данных в хранилище. По словам автора, навыки работы с DWH и dbt востребованы на российском и международном рынках для позиций аналитиков и инженеров уровня middle и senior. В процессе вы разберёте моделирование данных, инкрементальные обновления больших таблиц, написание макросов, проверку контрактов и интеграцию с инструментами оркестрации.

Как проходит обучение

Практика организована в формате сюжетного симулятора. Вы выступаете в роли аналитика данных в сервисе кикшеринга и решаете рабочие задачи компании: отслеживание поездок на электросамокатах, анализ действий пользователей и обработку финансовых метрик. По сюжету предстоит внедрять dbt в существующие процессы, переводить устаревший SQL-код на современный стек и взаимодействовать с коллегами по команде.

Прохождение включает более 100 прикладных задач на реальных стендах. В решении сложных вопросов и разборе тем Big Data задействован ассистент на базе GPT. К завершению курса вы подготовите пет-проект для портфолио и оформите полученные навыки в резюме для трудоустройства.

Что внутри

Темы охватывают ключевые этапы жизненного цикла dbt-проекта:

• настройка dbt Cloud и локальной связки с DuckDB;
• деплой таблиц, представлений и работа с CSV-файлами;
• инкрементальная загрузка данных;
• тестирование качества моделей данных (Data Quality);
• каталогизация данных, настройка контрактов и семантического слоя для BI;
• организация CI/CD-пайплайнов для поставки изменений в продакшн;
• оркестрация с помощью Airflow и Dagster.

Об авторе

Павел Рословец — Principal Engineer в NXP Semiconductors. Ранее работал на позиции Senior Engineer в кикшеринговом сервисе Whoosh и в представительстве компании MathWorks.