Книга

[ДМК] Ускорение глубоких нейронных сетей [Рёма Сато]

О книге

Эта книга представляет собой практическое руководство по ускорению работы глубоких нейронных сетей (DNN) и больших языковых моделей (LLM). Выходя за рамки закрытых методов «черного ящика», она сочетает новейшие техники – такие как FlashAttention, – с работающим кодом и эмпирическими данными и сокращает разрыв между теорией и практикой. Читатели получат как технические инструменты, так и фундаментальные знания, необходимые для эффективной оптимизации моделей.

Ключевые темы:
  • квантизация и низкая точность – с пояснениями, почему она работает;
  • прунинг – известные методы, а также случаи, когда их следует применять;
  • дистилляция – постановка задачи, подходы к дистилляции, выбор модели-ученика, использование генеративных моделей, разбор FitNet;
  • низкоранговая аппроксимация – основы низкоранговых представлений, их применение к сверточным сетям и механизмам внимания;
  • быстрые архитектуры – свертки, быстрые трансформеры, архитектуры на основе преобразования Фурье, методы подсетей, поиск нейросетевых архитектур и сравнение быстрых архитектур с методами сжатия;
  • эффективное обучение – сокращение потребления памяти и арифметика параметров модели.
Книга станет ценным источником информации для исследователей, разработчиков, студентов и аспирантов, заинтересованных в детальном изучении современного глубокого обучения.

Формат PDF
Складчина создана 14 октября 2026 г.
128 ₽ 1 360 ₽