Big Data: Hadoop и экосистема больших данных
О чём курс
Анализ данных объемом в терабайты требует понимания не одной программы, а целой экосистемы распределенных систем. Здесь показывают, как объединить Hadoop, Spark, Kafka и NoSQL-базы в единую рабочую архитектуру, чтобы решать реальные бизнес-задачи.
Внутри разбирается установка и настройка Hadoop через Hortonworks/Ambari, написание сценариев обработки через Pig и Spark, а также интеграция потоковых данных с помощью Flink и Storm. Вы научитесь выбирать подходящую технологию хранения под конкретную задачу: от реляционных данных в Hive до неструктурированных в Cassandra или MongoDB.
Курс рассчитан на специалистов с базовым опытом программирования (Python или Scala) и пониманием командной строки Linux. Вы освоите проектирование распределенных систем и сможете управлять кластерами с помощью YARN, Mesos и Zookeeper.
Программа обучения
- Основы Hadoop и экосистемы больших данных
- Работа с кластером Hadoop:
- Установка и настройка через Hortonworks и Ambari
- Хранение и управление данными в HDFS
- Анализ через MapReduce
- Инструменты обработки данных:
- Написание программ на Pig
- Использование Apache Spark
- Анализ и запросы:
- Реляционные данные (Hive, MySQL)
- Нереляционные данные (HBase, Cassandra, MongoDB)
- Интерактивные запросы (Drill, Phoenix, Presto)
- Управление кластерами:
- YARN, Tez, Mesos, Zookeeper
- Zeppelin, Hue, Oozie
- Работа с потоками и интеграция:
- Kafka, Sqoop, Flume
- Spark Streaming, Flink, Storm
Отзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».