Apache Iceberg для Data Engineer

Александр Озерцов разбирает Apache Iceberg: от настройки среды до управления таблицами, транзакциями и версиями данных в Lakehouse. Практические примеры выполняются в Apache Spark преимущественно с помощью SQL.

Как устроен Iceberg

Вы разберёте структуру таблицы, метаданные, снимки и манифесты, а также то, как Iceberg обеспечивает атомарность и изоляцию транзакций. Автор показывает работу с каталогами и их интеграцию с вычислительными движками. Отдельное внимание уделено ситуациям, в которых при работе с файлами в Data Lake возникают конфликты записи, замедляется поиск данных или меняется схема таблицы.

Управление таблицами

В курсе рассматриваются запросы к историческим данным через Time Travel и восстановление таблицы после ошибки с помощью Rollback. Вы разберёте Schema Evolution: добавление и удаление колонок по ID, а также Partition Evolution, позволяющую менять партиционирование без полной перезаписи таблицы. Автор сравнивает Copy-on-Write и Merge-on-Read для обновления данных.

Работа с ветками и тегами включает паттерн WAP (Write-Audit-Publish): изменения можно проверить до публикации. Среди других тем — Deletion Vectors, очистка старых снимков и манифестов, управление жизненным циклом данных и расходами на хранение в S3 или GCS.

Практика и подготовка

Обучение начинается с настройки окружения и продолжается разбором устройства Iceberg на примерах в Spark. В каждой тематической главе автор сначала показывает проблему привычного подхода к Data Lake, затем объясняет механизм Iceberg и демонстрирует его в консоли. Курс адресован инженерам данных и аналитикам данных; для практики используется Spark, а большинство примеров записано на SQL.

Перед началом пригодятся SQL на базовом или среднем уровне, включая SELECT, JOIN, GROUP BY и DDL-операции. Также нужны основы Spark или Python, понимание различия между файлами в S3 или HDFS и таблицей базы данных, умение запускать контейнер через docker-compose.