Data Engineer. 20-й поток

Data Engineer. 20-й поток — курс о задачах дата-инженера: от обработки данных до проектирования хранилища и создания BI-дашборда с ответами на вопросы бизнес-аналитиков.

Как устроен курс

Курс длится 10 недель и включает 30 занятий, 10 лабораторных работ и видеозаписи занятий с тайм-метками. Указанная нагрузка — 10–15 часов в неделю; в зависимости от начального уровня участие может занимать около 20 часов в неделю.

Лабораторные работы приближены к задачам дата-инженеров и выполняются в рабочей инфраструктуре. За два месяца вы выполните 10 практических заданий с разными инструментами. На второй неделе научитесь разворачивать Apache Kafka, отправлять и обрабатывать сообщения, а также познакомитесь с написанием пайплайнов на Apache Airflow.

На занятиях преподаватели-практики показывают инструменты и фреймворки, которые используются в лабах. Kafka, Airflow, ClickHouse, Spark, Redis и Docker изучают на подробных занятиях и применяют в лабораторных работах. Также в курс входят Apache Flink, Grafana, dbt, Kubernetes и другие инструменты; по некоторым предусмотрены дополнительные задания.

В ходе курса участники анализируют полученные знания и заполняют карту компетенций, знакомятся с альтернативами популярным инструментам и собирают дополнительные ресурсы. Полученные знания можно применять в работе и собственных проектах.

Презентации, Jupyter-ноутбуки, лабы и мануалы размещают в закрытом репозитории GitHub. Обучение проходит на русском языке с упором на международные технологии, включая Spark, Scala, SQL и архитектуру дата-платформ.

Кому адресован курс

• Аналитикам данных, которые хотят лучше понимать цикл работы с данными и инфраструктуру обработки, находить общий язык с дата-инженерами или познакомиться с инженерной ролью.
• Бэкенд-разработчикам с инженерным опытом, в том числе в нагруженных проектах, которые хотят узнать о задачах дата-инженеров и разработке высоконагруженных дата-приложений или сменить область работы.
• Техлидам и менеджерам команд дата-аналитиков, которым нужно ориентироваться в инструментах и технологиях, определять направление развития команды, оценивать сроки и понимать требования бизнеса. Курс также позволяет освежить знания о современных инструментах и практиках DE.
• Практикующим дата-инженерам, которые хотят структурировать знания и познакомиться с инструментами и подходами.

Авторы курса рассчитывают, что после обучения вы сможете работать дата-инженером и развиваться в профессии. Обучение рассчитано также на тех, кто переехал или планирует карьеру в другой стране; в исходном описании упомянуты рынки СНГ, Европы и Израиля и глобальные IT-компании.

Рекомендуемые знания

• Python: базовый синтаксис, циклы, условные операторы, функции, чтение и запись файлов. Это основной язык курса; он понадобится для Spark и Airflow.
• Основы Linux: вход на удалённый сервер по SSH, настройка авторизации по SSH-ключу, команды для перемещения по директориям, создания и редактирования файлов и выход из vim. Командная строка понадобится для работы с кластером.
• SQL: язык пригодится для скриптов SparkSQL при работе с Apache Spark и небольших запросов к ClickHouse в нескольких лабах.

Что учесть перед обучением

Курс включает инженерные практики и не рассчитан на обучение ML-моделей. Занятия можно смотреть без выполнения лаб, но авторы считают, что такой формат существенно уменьшает ценность участия. Почти во всех лабораторных работах нужно писать код и редактировать конфигурации на машинах. При высокой нагрузке в даты курса авторы советуют учитывать время, необходимое для занятий.

Авторы

Игорь Мосягин — ментор программы, Data Consultant в shrimpsizemoose AB.

Другие авторы

• Дмитрий Андреев — координатор, ведущий инженер по работе с инфраструктурой данных, Райффайзенбанк.
• Максим Тарасов — координатор, Lead R&D Engineer, White Wave Media.
• Николай Марков — Data Platform Lead, Altenar.
• Сергей Гришаев — Senior Data Engineer, Wildberries.
• Егор Матешук — технический директор, ГПМ Дата.
• Александр Зайцев — CTO, Altinity.
• Валерия Дымбицкая — разработчик, Upgini.
• Екатерина Островская — руководитель направления развития бизнес хранилища данных, Райффайзенбанк.
• Андрей Кучеров — TechLead DE, Beeline.
• Андрей Серебрянский — Lead Developer, Яндекс.

Старт — весной 2027 года.