О чём курс

Системы потоковой передачи событий требуют специфической настройки для обеспечения стабильности и скорости доставки данных. В этом тренинге разбирается архитектура Apache Kafka: от базовых принципов работы брокеров и репликации до проектирования отказоустойчивых кластеров и использования инструментов Kafka Connect для интеграции с внешними СУБД. Вы научитесь настраивать среду с помощью Docker, работать с Java- и REST-клиентами, а также создавать приложения для потоковой обработки с помощью Kafka Streams и KSQL. Материал ориентирован на разработчиков, архитекторов и дата-инженеров, которым необходимо внедрять Kafka в высоконагруженные системы и обеспечивать сохранность данных в реальном времени.

Программа обучения

    1. Обзор – теория (2 ч.)
    • Что такое Kafka.
    • Примеры удачного и неудачного использования Kafka.
    • Kafka и база данных: сходства и различия.
    • Kafka и прямые конкуренты.
    • Kafka и Apache Pulsar.
    • Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
    • Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
    • Клиенты и API.
    1. Настройка Кластера (практика – 1 ч)
    • Практика 2.1: запуск кластера Kafka с помощью Docker.
    • Установка Zookeeper.
    • Установка брокеров Kafka.
    1. Инструменты Kafka и управление данными – теория и демо (1 ч.)
    1. Разработка приложений на Java – теория (2 ч.), практика (1 ч.)
    • Kafka Producer API: основы.
    • Практика 4.1: Отправка одного сообщения.
    • Kafka Consumer API: основы, группы потребителей.
    • Практика 4.2: Один получатель.
    • Практика 4.3: Несколько получателей в одной группе.
    • Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
    • Практика 4.4: Транзакционный Отправитель.
    • Практика 4.5: Отправка и получение в транзакции.
    • Практика 4.6: Замороженный потребитель.
    • Практика 4.7: Медленный потребитель.
    1. Внешний доступ к кластеру Kafka – теория (2 ч.), практика (2 ч.)
    • Безопасность: SSL, SASL, Kerberos.
    • REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
    • Практика 5.1: доступ через REST Proxy.
    • Schema Registry: реестр схем.
    • Практика 5.2: Schema Registry.
    1. Kafka Streams и KSQL – теория (2 ч.), практика (2 ч.)
    • Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
    • Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
    • Практика 6.1: Реализация потоков без сохранения состояния.
Складчина создана 15 марта 2025 г. · описание обновлено 23 марта 2026 г.
5 000 ₽ 44 910 ₽