Оценка AI-агентов
О чём курс
Андрей Киселёв разбирает оценку качества AI-систем: вы научитесь читать трейсы, группировать ошибки и строить синтетические датасеты до появления пользовательского трафика. Другое название курса — «Оценка AI агентов».
Что вы изучите
Вы разберёте, как проектировать автоматические пайплайны оценки, тестировать многошаговых агентов, измерять качество Retrieval в RAG и встраивать эвалы в CI/CD. Анализ трейсов и кластеризация ошибок помогут определить, какие классы проблем исправлять в первую очередь.
Курс охватывает оценку текста, изображений и многоходовых чатов. Вы также изучите, как связывать бизнес-метрики с метриками модели, строить таксономию ошибок и использовать оценку качества при принятии продуктовых решений.
Кому подойдёт
Курс рассчитан на AI / ML- и Backend-инженеров, product-менеджеров AI-продуктов, технических лидов и руководителей. Для практических заданий и интеграции фреймворков нужны базовые знания Python и понимание принципов работы с API LLM, например OpenAI.
Принципы оценки применимы к open-source-моделям LLaMA и Mistral, а также к другим API, включая Anthropic. Руководители команд разберут выбор между готовыми платформами и собственной разработкой и организацию процессов оценки внутри команды.
Формат и материалы
Курс рассчитан на пять недель и занимает около 4–6 часов в неделю. В него входят пять сессий общей продолжительностью 7,5 часа, пять реальных кейсов, четыре проекта для портфолио и материалы. Все занятия записываются, поэтому их можно смотреть асинхронно.
Об авторе
Андрей Киселёв — Head of Product. Он создавал AI-продукты для продакшна: от первых RAG в небольших командах до платформ с миллионами вызовов агентов в день. Работал в Revolut и Yandex, где отвечал за внедрение AI-функций.
Программа обучения
- Сессия 1. Интро и философия эвалов на простом кейсе
- Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
- Сессия 2. Error analysis и почему eval-driven development — фантазия
- Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
- Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
- Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
- Сессия 4. Оценка чат-продуктов end-to-end
- Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
- Сессия 5. Подведение итогов и рецепты для продакшна
- Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны
Запишитесь бесплатно — цена упадёт для всех
У автора этот материал стоит 79 999 ₽. В складчине сумму делят на всех: чем больше участников, тем меньше взнос каждого.
1 Оставляете email Без оплаты и без карты. Пришлём, как занять место в складчине на нашем основном сайте.
2 Складчина набирает людей Сейчас 6 участников и взнос 15 648 ₽. Ещё 1 человек — и он опустится до 14 990 ₽.
3 Открывается сбор Присылаем итоговую цену. Устроит — платите и получаете материалы. Нет — просто не платите.
- 46 944 ₽ 2 уч.
- 31 296 ₽ 3 уч.
- 15 648 ₽ 6 уч. сейчас
- 14 990 ₽ 7 уч. цель
Запись ни к чему не обязывает: платите, только если итоговый взнос вас устроит.
Теги курса
Другие материалы автора 1
Андрей Киселёв Все материалыОтзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.