Большие языковые модели. Экспертный уровень / LLM

Базовые понятия трансформерных моделей В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования. Тема 1: Задача языкового моделирования и понятие языковой модели Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ Тема 3: BERT и другие трансформерные энкодеры // ДЗ Тема 4: GPT и другие декодерные модели для генерации текста Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ Тема 6: Методы за ChatGPT + Q&A сессия Новая эра LLM: базовые методы В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга. Тема 1: Современные LLM и оптимизация архитектуры Тема 2: Практическое занятие: теория промптинга LLM // ДЗ Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ Тема 5: Мультиязычные трансформеры Тема 6: Работа с длинным контекстом Тема 7: Q&A сессия и дискуссионный клуб Продвинутые методы работы с LLM В этом модуле вы изучите углубленные подходы к работе с трансформерами. Тема 1: Sentence-transformers // ДЗ Тема 2: Эффективные трансформеры Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ Тема 4: LangChain Тема 5: RAG - генерация на основе базы знаний Доп. главы работы с LLM В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы. Тема 1: Оценка LLM Тема 2: Распределенное обучение Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ Тема 4: Q&A сессия и дискуссионный клуб Трансформеры для других модальностей В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах. Тема 1: Мультимодальные и Vision трансформеры Тема 2: Практическое занятие по работе с мультимодальными моделями Тема 3: Введение в AI агентов // ДЗ Тема 4: Трансформеры для временных рядов Тема 5: Трансформеры для табличных данных Тема 6: Q&A сессия и дискуссионный клуб Проектная работа Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.