Разработка LLM с нуля
О чём курс
Алгоритм токенизации BPE и механизмы внимания — это «черный ящик» для большинства разработчиков, но здесь вы соберете архитектуру GPT своими руками на чистом PyTorch без сторонних библиотек. Вы перейдете от теоретических схем трансформеров к полноценной реализации каждого компонента: от эмбедингов и механизмов внимания до цикла обучения модели. Курс ориентирован на инженеров машинного обучения, которые хотят глубоко понимать устройство современных LLM, а не просто использовать готовые API. В итоге вы не только соберете собственную языковую модель с нуля, но и научитесь настраивать циклы обучения, готовить данные и управлять генерацией текста.
Программа обучения
- Введение
- Инструкция
- Что такое LLM?
- Архитектура LLM
- Токены и эмбединги
- Byte-Pair Encoding
- Эмбединги
- Transformer
- «Внимание»
- Feed-Forward Network
- Decoder
- LLM
- Собираем GPT
- Сэмплирование
- Обучение
- Датасет
- Train/Eval
- Применение
- Другие модели
- GPT-2
- LLama
- Mistral
- Mixtral
- Gemma
- Другие модели
Отзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».