Квантование для моделей GenAI
О чём курс
Технический курс по оптимизации генеративных моделей (GenAI) с помощью методов квантования. Материал ориентирован на разработчиков, Data Scientist’ов и инженеров машинного обучения, работающих над развертыванием моделей на периферийных устройствах и в средах с ограниченными вычислительными ресурсами.
Курс состоит из 24 лекций общей продолжительностью около 2,5 часов. В процессе обучения рассматриваются теоретические основы представления чисел, типы данных (FP32, FP16, BFloat16, INT8) и практическая реализация методов сжатия моделей на Python с использованием библиотеки PyTorch. Основное внимание уделено снижению нагрузки на память и ускорению инференса моделей без существенной потери точности.
Программа обучения
- Методы оптимизации: введение в обрезку (pruning), дистилляцию знаний и квантование.
- Типы данных: форматы FP32, FP16, BFloat16, INT8, 8-битные числа с фиксированной точкой, их представление в PyTorch.
- Техники квантования: разница между симметричным и асимметричным квантованием.
- Практика: понижение типов данных тензоров и моделей ML в Python, пример квантования модели GPT Neo 125.
Другие материалы школы 12
U Udemy Все материалыОтзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».