Основы Kafka
О чём курс
Системы потоковой передачи событий требуют специфической настройки для обеспечения стабильности и скорости доставки данных. В этом тренинге разбирается архитектура Apache Kafka: от базовых принципов работы брокеров и репликации до проектирования отказоустойчивых кластеров и использования инструментов Kafka Connect для интеграции с внешними СУБД. Вы научитесь настраивать среду с помощью Docker, работать с Java- и REST-клиентами, а также создавать приложения для потоковой обработки с помощью Kafka Streams и KSQL. Материал ориентирован на разработчиков, архитекторов и дата-инженеров, которым необходимо внедрять Kafka в высоконагруженные системы и обеспечивать сохранность данных в реальном времени.
Программа обучения
- Обзор – теория (2 ч.)
- Что такое Kafka.
- Примеры удачного и неудачного использования Kafka.
- Kafka и база данных: сходства и различия.
- Kafka и прямые конкуренты.
- Kafka и Apache Pulsar.
- Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
- Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
- Клиенты и API.
- Настройка Кластера (практика – 1 ч)
- Практика 2.1: запуск кластера Kafka с помощью Docker.
- Установка Zookeeper.
- Установка брокеров Kafka.
- Инструменты Kafka и управление данными – теория и демо (1 ч.)
- Разработка приложений на Java – теория (2 ч.), практика (1 ч.)
- Kafka Producer API: основы.
- Практика 4.1: Отправка одного сообщения.
- Kafka Consumer API: основы, группы потребителей.
- Практика 4.2: Один получатель.
- Практика 4.3: Несколько получателей в одной группе.
- Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
- Практика 4.4: Транзакционный Отправитель.
- Практика 4.5: Отправка и получение в транзакции.
- Практика 4.6: Замороженный потребитель.
- Практика 4.7: Медленный потребитель.
- Внешний доступ к кластеру Kafka – теория (2 ч.), практика (2 ч.)
- Безопасность: SSL, SASL, Kerberos.
- REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
- Практика 5.1: доступ через REST Proxy.
- Schema Registry: реестр схем.
- Практика 5.2: Schema Registry.
- Kafka Streams и KSQL – теория (2 ч.), практика (2 ч.)
- Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
- Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
- Практика 6.1: Реализация потоков без сохранения состояния.
Отзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».