Складчина Каталог
Мои курсы

KAFKA: Курс Администрирование кластера Kafka

13 участников
Школа Школа Больших Данных

О чём курс

Школа Больших Данных проводит практический курс по развёртыванию, настройке, масштабированию и защите распределённой платформы потоковой передачи данных Apache Kafka.

О чём курс

Курс знакомит с устройством и эксплуатацией брокера сообщений. На занятиях разбирают базовые понятия, архитектуру компонентов, организацию топиков и партиций, а также варианты установки кластера как в связке с Zookeeper, так и в архитектуре без него (KIP-500).

Значительная часть времени отведена задачам сопровождения: балансировке разделов утилитами Partition Reassignment Tools, репликации с помощью Mirror Maker 2 и настройке мониторинга на базе связки Prometheus или Zabbix с Grafana. Отдельно рассматривается перенос и развёртывание брокеров в инфраструктуре Yandex Cloud, включая специфику управляемого сервиса.

Что внутри

Программа охватывает полный цикл администрирования брокера сообщений:

  • архитектурные компоненты, очереди потребителей и типы партиций;
  • планирование ресурсов, сайзинг и устранение типовых проблем при установке;
  • публикацию и вычитку данных консольными инструментами и работу с пользовательскими интерфейсами;
  • масштабирование, оптимизацию производительности и рекомендации Best Practices Kafka и Confluent;
  • интеграционные сценарии с внешними системами, включая Apache NiFi и Apache Hadoop;
  • расширенную конфигурацию топиков, политики очистки логов, работу со Schema Registry и REST Proxy;
  • безопасность: настройку центра сертификации, шифрование SSL/TLS, аутентификацию по SASL и Kerberos, а также списки контроля доступа (ACL).

Для кого

Курс рассчитан на специалистов, планирующих администрировать кластер Apache Kafka, организовывать мониторинг, настраивать защиту данных и интегрировать брокер с внешними хранилищами и обработчиками.

Для комфортного прохождения потребуется предварительная подготовка: уверенное владение командной строкой Linux, понимание файловой системы, стандартов POSIX и опыт работы с консольными текстовыми редакторами vi или nano.

Формат

Обучение рассчитано на 3 дня и составляет 24 академических часа. Теоретический материал и практические задания распределены в соотношении 50 на 50.

Программа обучения

  1. Введение в Kafka
  • Что такое Apache Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka
  • Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
  1. Основные концепции Kafka
  • Как работает Kafka: Топики (Topics) и партиций (Partitions).
  • Репликация данных.
  • Брокеры (Brokers): Развертывание.
  • Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций.
  • Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.
  1. Установка кластера Apache Kafka
  • Требования по установке кластера Kafka
  • Установка и настройка кластера Zookeeper: Настройка кворума.
  • Конфигурация сервисов и файловой системы.
  • Оптимизация и отказоустойчивость Zookeeper.
  • Установка кластера Kafka без использования Zookeeper KIP-500
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
  • Типовые проблемы при установке.
  • Запуск и первоначальное конфигурирование Kafka.
  • Конфигурация Listeners.
  • Отказоустойчивость кластера Kafka.
  • Установка кластера Kafka на Yandex Cloud
  1. Базовые операции в Apache Kafka
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Пользовательские интерфейсы для работы с Kafka
  1. Оптимизация кластера Apache Kafka
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Best Practices Kafka/Confluent
  • Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
  1. Интеграция с Apache Kafka (обзорно)
  • Использование Apache NiFi
  • Интеграция Apache Hadoop с Kafka
  • Сценарии интеграции с Apache Kafka
  1. Расширенная конфигурация кластера Kafka
  • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
  • Sizing (количество партиций и фактор репликации).
  • Сегменты и индексы.
  • Политика очистки логов (Log Cleanup Policy).
  • Сжатие и консолидация данных в логах.
  • Confluent REST Proxy.
  • Confluent Schema Registry (обзорно)
  • Репликация кластера с использованием Mirror Maker 2
  1. Безопасность в Kafka
  • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Kerberos.
  • Keytabs и principals.
  • Настройка кластера Kafka и клиентов для поддержки Kerberos
  • Авторизация в Kafka
  • Управление списками управления доступом (ACL)
Складчина создана 1 марта 2024 г. · описание обновлено 25 октября 2026 г.

Теги курса

Профессии
DevOps-инженер
Навыки
Безопасность
Инструменты
Kafka

Другие материалы школы 1

ШБ Школа Больших Данных Все материалы
GPDE: GreenPlum для инженеров данных GPDE: GreenPlum для инженеров данных 4 704 ₽ 60 000 ₽ −92%

Ещё интересные курсы 12

Ещё интересные курсы

5 285 ₽ 72 000 ₽