Квантование для моделей GenAI

6 участников

О чём курс

Технический курс по оптимизации генеративных моделей (GenAI) с помощью методов квантования. Материал ориентирован на разработчиков, Data Scientist’ов и инженеров машинного обучения, работающих над развертыванием моделей на периферийных устройствах и в средах с ограниченными вычислительными ресурсами.

Курс состоит из 24 лекций общей продолжительностью около 2,5 часов. В процессе обучения рассматриваются теоретические основы представления чисел, типы данных (FP32, FP16, BFloat16, INT8) и практическая реализация методов сжатия моделей на Python с использованием библиотеки PyTorch. Основное внимание уделено снижению нагрузки на память и ускорению инференса моделей без существенной потери точности.

Программа обучения

  • Методы оптимизации: введение в обрезку (pruning), дистилляцию знаний и квантование.
  • Типы данных: форматы FP32, FP16, BFloat16, INT8, 8-битные числа с фиксированной точкой, их представление в PyTorch.
  • Техники квантования: разница между симметричным и асимметричным квантованием.
  • Практика: понижение типов данных тензоров и моделей ML в Python, пример квантования модели GPT Neo 125.
Складчина создана 28 февраля 2025 г. · описание обновлено 20 марта 2026 г.

Другие материалы школы 12

U Udemy Все материалы
300 ₽