GPDE: GreenPlum для инженеров данных
О чём курс
Курс представляет собой интенсивную трехдневную программу практического обучения, разработанную специально для аналитиков данных, дата-инженеров и администраторов баз данных, стремящихся освоить работу с одной из самых мощных open-source систем управления базами данных — Greenplum Database. В условиях современного бизнеса, где объемы информации растут экспоненциально, умение эффективно управлять Big Data становится критически важным навыком. Данный курс дает глубокое понимание того, как устроена Greenplum как реляционная MPP (Massively Parallel Processing) СУБД, и как использовать её архитектурные преимущества для решения задач высокой сложности.
В процессе обучения участники погружаются в фундаментальные аспекты работы с системой: от базовой архитектуры и принципов партиционирования таблиц до тонкой настройки индексов, управления транзакциями и блокировками. Особое внимание уделяется оптимизации запросов, что позволяет специалистам не просто писать код, но и понимать, как именно СУБД строит планы выполнения, выявляя «узкие места» и повышая производительность системы. Вы научитесь эффективно работать с внешними данными, освоите механизмы загрузки информации, использование протоколов и PXF, а также научитесь расширять функциональность СУБД с помощью пользовательских функций (UDF) и обработки форматов JSON и XML.
Курс охватывает не только внутренние возможности Greenplum, но и её роль в современной экосистеме данных. Вы узнаете, как интегрировать Greenplum в архитектуру корпоративных озер данных (Data Lakes) и хранилищ (Data Warehouses), как правильно выстраивать ETL/ELT-процессы, обеспечивая масштабируемость и отказоустойчивость. Важной частью программы является изучение интеграции с такими популярными инструментами, как Kafka, NiFi и Apache Spark, что позволяет создавать полноценные пайплайны обработки данных в реальном времени. Вы научитесь строить многоуровневые хранилища, которые отвечают требованиям современного Enterprise-уровня.
Формат обучения ориентирован на практику: теоретические блоки подкрепляются лабораторными работами, позволяющими закрепить полученные знания в реальной среде. Это дает возможность сразу после окончания курса применять полученные навыки для решения рабочих задач: от настройки кластера до оптимизации сложных аналитических запросов. Прохождение данного курса — это инвестиция в профессиональное развитие, которая позволит вам уверенно работать с высоконагруженными системами, проектировать надежные хранилища данных и эффективно управлять потоками информации в масштабах всей компании. Вы получите не только теоретическую базу, но и практический опыт, необходимый для работы с Greenplum на экспертном уровне.
Программа обучения
Часть 1. Основы GreenPlum: GreenPlum как реляционная MPP СУБД
- Введение в GreenPlum
- Архитектура GreenPlum
- Партиционирование таблиц, индексы
- Транзакции и блокировки
- Оптимизация и планы запросов
- Лабораторная работа Часть 2. Внешние данные и код: GreenPlum как агрегатор данных и исполнитель кода
- Механизм внешних таблиц, протоколы, PXF
- Загрузка данных в GreenPlum
- Механизм UDF
- Работа с JSON, XML
- Экосистема и дополнительные библиотеки
- Лабораторная работа Часть 3. GreenPlum в современных хранилищах данных
- Архитектура озера данных
- ETL, ELT и подготовка данных
- GPSS и интеграция GreenPlum с Kafka и Nifi
- Обработка данных из GreenPlum с помощью Spark
- Построение многоуровневого хранилища на GreenPlum
- Лабораторная работа
Теги курса
Другие материалы школы 1
ШБ Школа Больших Данных Все материалыОтзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.