Глубокое обучение: продвинутое компьютерное зрение GAN, SSD и другое

О чём курс

Lazy Programmer Inc. разбирает современные задачи компьютерного зрения на основе свёрточных нейронных сетей: перенос обучения, обнаружение объектов, перенос стиля и генерацию изображений. Вы переходите от базовой архитектуры CNN к VGG, ResNet и Inception, а затем применяете эти сети к изображениям клеток крови. Этот пример используется для работы с классификацией изображений; заявления автора о превосходстве такой системы над врачом остаются его оценкой.

Обнаружение объектов и генерация изображений

В части об обнаружении объектов вы рассматриваете, как определить положение объекта на изображении и предсказать его класс. Разбираются локализация, проблемы масштаба и формы, алгоритм SSD и его применение к видео. Автор связывает эту задачу с системами, которым нужно распознавать автомобили, пешеходов, велосипеды и светофоры.

Для переноса стиля используются изображение с содержимым и изображение с образцом стиля: сеть создаёт новый вариант на их основе. Отдельные темы — карты активации классов и GAN, с помощью которых генерируют изображения. В практическом проекте вы последовательно реализуете локализацию объектов.

Подготовка и инструменты

Перед продвинутыми темами курс повторяет машинное обучение, искусственные нейронные сети и основы CNN. Вы работаете с классификацией и регрессией, функциями активации, аугментацией данных и батч-нормализацией. Уроки по Google Colab охватывают настройку среды, загрузку данных и работу с GPU или TPU; отдельно рассматриваются Keras и TensorFlow 2.

В материалах есть код, ноутбуки и данные, а также справочные разделы по установке среды и написанию кода на Python. Курс идёт на английском языке. Среди заявленных тем также названы основы технологий ChatGPT, GPT-4, DALL-E, Midjourney и Stable Diffusion; основное содержание программы сосредоточено на компьютерном зрении.