KAFKA: Курс Администрирование кластера Kafka
О чём курс
Курс «Администрирование кластера Kafka» представляет собой интенсивную программу обучения, рассчитанную на 24 академических часа, в ходе которой слушатели осваивают глубокие технические аспекты управления одной из самых востребованных систем передачи сообщений в реальном времени. Программа разработана для системных администраторов, DevOps-инженеров и специалистов по инфраструктуре данных, стремящихся получить экспертные навыки по развертыванию, настройке, оптимизации и обеспечению безопасности кластеров Apache Kafka. Обучение построено на сбалансированном подходе: 50% времени отведено теоретическим основам, а 50% — практическим лабораторным работам, что позволяет закрепить полученные знания в реальных сценариях.
В процессе обучения участники проходят путь от базового понимания архитектуры Kafka и принципов работы Zookeeper до продвинутых методов управления кластером. Особое внимание уделяется современным подходам, включая развертывание Kafka без использования Zookeeper (KIP-500), что является критически важным навыком для работы с актуальными версиями системы. Слушатели научатся планировать ресурсы (sizing), настраивать отказоустойчивость, управлять партициями и репликацией, а также проводить глубокую оптимизацию производительности кластера. Практическая часть включает работу с инструментами мониторинга, такими как Prometheus, Zabbix и Grafana, что позволяет выстраивать полноценную систему наблюдения за состоянием инфраструктуры.
Значительный блок курса посвящен вопросам безопасности, что крайне важно для корпоративных сред. Участники изучат настройку шифрования SSL/TLS, аутентификацию через SASL и Kerberos, а также управление правами доступа с помощью ACL. Кроме того, программа охватывает интеграционные сценарии с использованием Apache NiFi и Hadoop, а также работу с Confluent Schema Registry и Mirror Maker 2 для репликации данных между кластерами. Отдельно рассматривается специфика работы в облачных средах, в частности, развертывание кластера в Yandex Cloud и использование сервиса Yandex Managed Service для Apache Kafka.
Почему стоит пройти этот курс? Во-первых, это возможность получить структурированные знания от фундаментальных концепций до сложных конфигураций, которые сложно собрать самостоятельно из разрозненной документации. Во-вторых, акцент на практических задачах гарантирует, что после завершения обучения специалист будет готов к решению реальных проблем: от настройки Listeners до устранения узких мест в производительности. Курс дает уверенность в управлении высоконагруженными системами, обеспечивая их стабильность, безопасность и масштабируемость. Для успешного прохождения обучения требуется уверенное владение командной строкой Linux, что позволит сфокусироваться на специфике Kafka, не отвлекаясь на базовые операции с ОС.
Программа обучения
- Введение в Kafka
- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
- Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
- Основные концепции Kafka
- Как работает Kafka: Топики (Topics) и партиций (Partitions).
- Репликация данных.
- Брокеры (Brokers): Развертывание.
- Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций.
- Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
- Установка кластера Apache Kafka
- Требования по установке кластера Kafka
- Установка и настройка кластера Zookeeper: Настройка кворума.
- Конфигурация сервисов и файловой системы.
- Оптимизация и отказоустойчивость Zookeeper.
- Установка кластера Kafka без использования Zookeeper KIP-500
- Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
- Типовые проблемы при установке.
- Запуск и первоначальное конфигурирование Kafka.
- Конфигурация Listeners.
- Отказоустойчивость кластера Kafka.
- Установка кластера Kafka на Yandex Cloud
- Базовые операции в Apache Kafka
- Операции с Топиками (Topic)
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
- Пользовательские интерфейсы для работы с Kafka
- Оптимизация кластера Apache Kafka
- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Best Practices Kafka/Confluent
- Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
- Интеграция с Apache Kafka (обзорно)
- Использование Apache NiFi
- Интеграция Apache Hadoop с Kafka
- Сценарии интеграции с Apache Kafka
- Расширенная конфигурация кластера Kafka
- Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
- Sizing (количество партиций и фактор репликации).
- Сегменты и индексы.
- Политика очистки логов (Log Cleanup Policy).
- Сжатие и консолидация данных в логах.
- Confluent REST Proxy.
- Confluent Schema Registry (обзорно)
- Репликация кластера с использованием Mirror Maker 2
- Безопасность в Kafka
- Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
- Аутентификация SSL/SASL
- Аутентификация Kerberos: Настройка Kerberos.
- Keytabs и principals.
- Настройка кластера Kafka и клиентов для поддержки Kerberos
- Авторизация в Kafka
- Управление списками управления доступом (ACL)
Теги курса
Другие материалы школы 1
ШБ Школа Больших Данных Все материалыОтзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.