Складчина Каталог
Мои курсы

Data-инженер

26 участников
НМ Автор Николай Марков, Николай Акимов, Ася Гайламазян Школа Слёрм

О чём курс

Преподаватели Слёрма показывают, как строить дата-пайплайны и организовывать работу архитектуры данных. Вы разберёте инструменты хранения, обработки и передачи данных, а в финале выполните проект на собственных данных под руководством экспертов.

Что изучают

Курс начинается с Python и терминала для задач Data Engineering. Затем вы переходите к распределённым файловым системам, базам данных, потоковой обработке, ETL и устройству хранилищ. Отдельно разбирают жизненный цикл данных и оценку их качества.

В перечне инструментов — Python, AirFlow, Bash, NiFi, Hadoop, Kafka, Spark, Neo4j, PostgreSQL, MongoDBl и ClickHouse. Программа включает встречи по пройденным темам и работу над собственным проектом в финальном модуле.

Команда курса

Николай Марков занимается разработкой и проектированием более 11 лет и работает с аналитическими архитектурами и Data Governance. Николай Акимов — инженер по внедрению в TaskData; он участвует в проектах с открытым кодом и поддерживает сообщество NiFi. Ася Гайламазян работала разработчиком системного обеспечения в телекоммуникациях, игровой индустрии и торговле.

Программа обучения

    1. Введение.
    1. Python и терминал для задач Data Engineering.
    • Установочная сессия.
    1. Распределенные файловые системы. Hadoop. Map-Reduce.
    1. Spark for Data Engineering.
    • Встреча по темам 2-4.
    1. Реляционные базы данных.
    1. NOSQL базы данных и введение в методологии построения хранилищ.
    1. Процессинг и перекладывание (перекладка) данных.
    1. Оркестраторы данных. AirFlow.
    • Встреча по темам 5-8.
    1. Шины данных. Kafka. Принципы построения систем потоковой аналитики.
    1. ETL-инструменты. NiFi.
    1. Архитектура хранилищ данных.
    1. Аналитика. Жизненный цикл данных и оценка data quality.
    • Встреча по темам 9-12.
    1. Работа с собственным проектом в финальном модуле.
    1. Заключение
Складчина создана 14 июня 2024 г. · описание обновлено 25 октября 2026 г.

Ещё интересные курсы 12

Ещё интересные курсы

4 000 ₽ 80 000 ₽