Senior DataScience: Введение в устройство LLM и Transformers

Как устроены языковые модели

Вячеслав Рыльков разбирает устройство больших языковых моделей и архитектуру Transformer: от токенизации и превращения слов в векторы до механизма внимания. Вы проследите, как модель связывает слова с контекстом и какую роль в Self-Attention играют векторы Query, Key и Value. Автор объясняет различие между энкодером на примере BERT и декодером на примере GPT.

Материал охватывает развитие NLP, общую архитектуру трансформера и задачи, которые решают разные модели. В примерах встречаются классификация, перевод и генерация текста. Отдельно разбираются ограничения моделей, включая ошибки генерации и предвзятость.

Обучение моделей и генерация ответа

Рыльков сопоставляет Pre-training, Fine-tuning и RLHF, чтобы показать, чем различаются способы подготовки модели. Вы также рассмотрите случаи, когда задача решается дообучением или настройкой запроса. При разборе генерации автор объясняет параметры Temperature, Top-k и Top-p и их влияние на выбор следующего токена и характер ответа.

Курс связывает эти механизмы с инженерными решениями: подбором архитектуры для задачи, настройкой генерации и оценкой ограничений перед внедрением функции на основе LLM. Термины BERT, T5, LLM и RAG автор собирает в общую схему, опираясь на рисунки, аналогии и примеры кода. Математические выкладки сведены к минимуму.

Для кого и что нужно знать заранее

Курс рассчитан на backend-, fullstack- и Python-разработчиков, которые используют API языковых моделей; на начинающих и продолжающих специалистов по Data Science и ML; на технических менеджеров и владельцев продуктов с AI-функциями. Разработчикам материал помогает разобраться в поведении модели, а менеджерам — обсуждать с командой ограничения технологии, стоимость и сроки внедрения.

Для чтения примеров нужны основы Python: переменные, списки, функции и циклы. Автор использует библиотеки transformers и pytorch, говорит о векторах, матрицах и вероятностях. Также пригодится общее представление об API, базах данных и JSON.

Формат и автор

Курс состоит из десяти уроков в виде статей с кодом, схемами и аналогиями; к ним прилагаются 14 тестов. Материал построен как диалог автора со стажёром Максом, который задаёт вопросы по ходу объяснения.

Вячеслав Рыльков работает Data Scientist в Сбере и учился в МГТУ им. Н. Э. Баумана. Он пишет статьи об искусственном интеллекте и ведёт тематический канал. По словам автора, он дважды побеждал на форуме «Шаг в будущее».