О чём курс

Распределённая файловая система HDFS позволяет хранить массивы данных, объем которых практически неограничен. Это фундамент экосистемы Apache Hadoop, на котором строятся работа Spark, Hive, HBase и задачи машинного обучения.

Внутри разбираются следующие аспекты:

  • Архитектура и компоненты HDFS, определяющие работу с большими данными.
  • Практические методы записи и чтения данных внутри кластера.
  • Работа с интерфейсами HDFS: от командной оболочки shell до Python API и Web API.

Курс ориентирован на тех, кто делает первые шаги в Big Data или хочет разобраться во внутреннем устройстве распределенного хранения. Итогом станет понимание принципов работы HDFS, умение администрировать систему и программно взаимодействовать с данными.

Программа обучения

  • Зачем нужны большие данные
  • Распределённые файловые системы. Файловые системы HDFS. Их составляющие. Их достоинства, недостатки и сфера применения
  • Чтение и запись в HDFS
  • HDFS APIs: Web API, shell, Python API
  • Форма закрепления знаний - тестирование и выполнение домашней работы
Складчина создана 18 ноября 2021 г. · описание обновлено 23 марта 2026 г.

Другие материалы автора 7

ОИ Олег Ивченко Все материалы
184 ₽ 1 900 ₽