KAFKA: Курс Администрирование кластера Kafka

13 участников

О чём курс

Курс «Администрирование кластера Kafka» представляет собой интенсивную программу обучения, рассчитанную на 24 академических часа, в ходе которой слушатели осваивают глубокие технические аспекты управления одной из самых востребованных систем передачи сообщений в реальном времени. Программа разработана для системных администраторов, DevOps-инженеров и специалистов по инфраструктуре данных, стремящихся получить экспертные навыки по развертыванию, настройке, оптимизации и обеспечению безопасности кластеров Apache Kafka. Обучение построено на сбалансированном подходе: 50% времени отведено теоретическим основам, а 50% — практическим лабораторным работам, что позволяет закрепить полученные знания в реальных сценариях.

В процессе обучения участники проходят путь от базового понимания архитектуры Kafka и принципов работы Zookeeper до продвинутых методов управления кластером. Особое внимание уделяется современным подходам, включая развертывание Kafka без использования Zookeeper (KIP-500), что является критически важным навыком для работы с актуальными версиями системы. Слушатели научатся планировать ресурсы (sizing), настраивать отказоустойчивость, управлять партициями и репликацией, а также проводить глубокую оптимизацию производительности кластера. Практическая часть включает работу с инструментами мониторинга, такими как Prometheus, Zabbix и Grafana, что позволяет выстраивать полноценную систему наблюдения за состоянием инфраструктуры.

Значительный блок курса посвящен вопросам безопасности, что крайне важно для корпоративных сред. Участники изучат настройку шифрования SSL/TLS, аутентификацию через SASL и Kerberos, а также управление правами доступа с помощью ACL. Кроме того, программа охватывает интеграционные сценарии с использованием Apache NiFi и Hadoop, а также работу с Confluent Schema Registry и Mirror Maker 2 для репликации данных между кластерами. Отдельно рассматривается специфика работы в облачных средах, в частности, развертывание кластера в Yandex Cloud и использование сервиса Yandex Managed Service для Apache Kafka.

Почему стоит пройти этот курс? Во-первых, это возможность получить структурированные знания от фундаментальных концепций до сложных конфигураций, которые сложно собрать самостоятельно из разрозненной документации. Во-вторых, акцент на практических задачах гарантирует, что после завершения обучения специалист будет готов к решению реальных проблем: от настройки Listeners до устранения узких мест в производительности. Курс дает уверенность в управлении высоконагруженными системами, обеспечивая их стабильность, безопасность и масштабируемость. Для успешного прохождения обучения требуется уверенное владение командной строкой Linux, что позволит сфокусироваться на специфике Kafka, не отвлекаясь на базовые операции с ОС.

Программа обучения

  1. Введение в Kafka
  • Что такое Apache Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka
  • Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
  1. Основные концепции Kafka
  • Как работает Kafka: Топики (Topics) и партиций (Partitions).
  • Репликация данных.
  • Брокеры (Brokers): Развертывание.
  • Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций.
  • Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.
  1. Установка кластера Apache Kafka
  • Требования по установке кластера Kafka
  • Установка и настройка кластера Zookeeper: Настройка кворума.
  • Конфигурация сервисов и файловой системы.
  • Оптимизация и отказоустойчивость Zookeeper.
  • Установка кластера Kafka без использования Zookeeper KIP-500
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
  • Типовые проблемы при установке.
  • Запуск и первоначальное конфигурирование Kafka.
  • Конфигурация Listeners.
  • Отказоустойчивость кластера Kafka.
  • Установка кластера Kafka на Yandex Cloud
  1. Базовые операции в Apache Kafka
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Пользовательские интерфейсы для работы с Kafka
  1. Оптимизация кластера Apache Kafka
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Best Practices Kafka/Confluent
  • Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
  1. Интеграция с Apache Kafka (обзорно)
  • Использование Apache NiFi
  • Интеграция Apache Hadoop с Kafka
  • Сценарии интеграции с Apache Kafka
  1. Расширенная конфигурация кластера Kafka
  • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
  • Sizing (количество партиций и фактор репликации).
  • Сегменты и индексы.
  • Политика очистки логов (Log Cleanup Policy).
  • Сжатие и консолидация данных в логах.
  • Confluent REST Proxy.
  • Confluent Schema Registry (обзорно)
  • Репликация кластера с использованием Mirror Maker 2
  1. Безопасность в Kafka
  • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Kerberos.
  • Keytabs и principals.
  • Настройка кластера Kafka и клиентов для поддержки Kerberos
  • Авторизация в Kafka
  • Управление списками управления доступом (ACL)
Складчина создана 1 марта 2024 г. · описание обновлено 16 мая 2026 г.

Теги курса

Инструменты
5 285 ₽ 72 000 ₽