Разработка LLM с нуля

34 участника

О чём курс

Алгоритм токенизации BPE и механизмы внимания — это «черный ящик» для большинства разработчиков, но здесь вы соберете архитектуру GPT своими руками на чистом PyTorch без сторонних библиотек. Вы перейдете от теоретических схем трансформеров к полноценной реализации каждого компонента: от эмбедингов и механизмов внимания до цикла обучения модели. Курс ориентирован на инженеров машинного обучения, которые хотят глубоко понимать устройство современных LLM, а не просто использовать готовые API. В итоге вы не только соберете собственную языковую модель с нуля, но и научитесь настраивать циклы обучения, готовить данные и управлять генерацией текста.

Программа обучения

  • Введение
    • Инструкция
    • Что такое LLM?
  • Архитектура LLM
    • Токены и эмбединги
    • Byte-Pair Encoding
    • Эмбединги
  • Transformer
    • «‎Внимание»‎
    • Feed-Forward Network
    • Decoder
  • LLM
    • Собираем GPT
    • Сэмплирование
  • Обучение
    • Датасет
    • Train/Eval
  • Применение
    • Другие модели
      • GPT-2
      • LLama
      • Mistral
      • Mixtral
      • Gemma
Складчина создана 4 октября 2025 г. · описание обновлено 23 марта 2026 г.
370 ₽ 4 900 ₽