Lakehouse для аналитиков и инженеров данных — Октябрь 2025
О чём курс
Масштабирование аналитических систем до х100 раз становится возможным при переходе на архитектуру Lakehouse с разделением слоев вычислений (Compute) и хранения (Storage). В основе программы — работа с современным стеком, где кластер Trino разворачивается в Kubernetes и обращается к данным в формате Iceberg на S3.
Внутри курса разбираются:
- Принципы построения Lakehouse, которые пришли на смену традиционным аналитическим системам.
- Технические детали форматов Iceberg и Parquet, определяющие производительность хранения.
- Настройка и оптимизация кластера Trino, а также анализ метрик выполнения запросов.
- Создание гибридных пайплайнов обработки данных, объединяющих SQL, Python и Spark.
Программа ориентирована на специалистов уровня Middle и Senior. Вы научитесь проектировать архитектуру данных, которая позволяет работать с огромными объемами информации без необходимости радикальной смены стека при росте нагрузки.
Программа обучения
- Занятие 1. Lakehouse, Iceberg, разделение Compute и Storage
- Занятие 2. Структура формата Iceberg. Формат Parquet
- Занятие 3. Практика
- Занятие 4. Метрики запросов в Trino
- Занятие 5. Еще раз о формате Iceberg
- Занятие 6. Пайплайны и финальная Q&A-сессия
Выпуски серии 2
Все 2Другие материалы автора 2
АБ Алексей Белозерский Все материалыОтзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».