Продвинутый ИИ: глубокое обучение с подкреплением в Python

О чём курс

Команда Lazy Programmer разбирает методы объединения глубоких нейронных сетей с обучением с подкреплением на языке Python. Классические алгоритмы машинного обучения с учителем или без учителя ориентированы на анализ и прогнозирование данных, тогда как агенты обучения с подкреплением взаимодействуют с окружающей средой и стремятся максимизировать вознаграждение для достижения заданной цели. Сочетание этих двух подходов лежит в основе победы AlphaGo над чемпионами в игре го, разработки беспилотных автомобилей, создания систем прохождения видеоигр и современных архитектур вроде ChatGPT и GPT-4.

В качестве основной платформы для моделирования и экспериментов автор использует OpenAI Gym. Эта среда позволяет тестировать алгоритмы на стандартизированных задачах. В практической части рассматриваются классические задачи управления CartPole и Mountain Car, а также среды видеоигр Atari.

Что разбирается в обучении

Материал охватывает переход от базовых концепций к продвинутым техникам обучения агентов:

• Алгоритм TD-лямбда (TD Lambda) и расширение классического временного различия.
• Сети с радиальными базисными функциями (RBF-сети) в задачах обучения с подкреплением.
• Методы градиента политики (Policy Gradients) с применением нейронных сетей.
• Алгоритм глубокого Q-обучения (Deep Q-Learning, DQN) с подключением свёрточных нейросетей для обработки визуальной информации.
• Архитектура Asynchronous Advantage Actor-Critic (A3C).
• Базовые операции и построение моделей на базе фреймворков Theano и TensorFlow.

Необходимая подготовка

Для освоения тем автор рекомендует обладать следующими знаниями:

• Основы обучения с подкреплением: марковские процессы принятия решений (MDP), динамическое программирование, метод Монте-Карло и базовое TD-обучение.
• Опыт создания моделей машинного обучения на Python с использованием библиотеки NumPy.
• Практические навыки конструирования искусственных и свёрточных нейронных сетей во фреймворках Theano или TensorFlow.
• Знание математических дисциплин на уровне программы колледжа или вуза.

Формат и об авторе

Курс состоит из 12 разделов и 80 лекций общей продолжительностью 10 часов 38 минут. Основной язык видеоматериалов — английский, материал дополнен машинным переводом на русский язык. В программу также включены блоки с ответами на частые вопросы студентов по настройке окружения, базовому кодингу на Python и стратегиям эффективного обучения машинному обучению.

Материал подготовлен командой Lazy Programmer. По собственным данным проекта, автор имеет более чем 10-летний стаж в онлайн-образовании и разработке учебных программ по машинному обучению и data science.