О чём курс

Андрей Киселёв разбирает оценку качества AI-систем: вы научитесь читать трейсы, группировать ошибки и строить синтетические датасеты до появления пользовательского трафика. Другое название курса — «Оценка AI агентов».

Что вы изучите

Вы разберёте, как проектировать автоматические пайплайны оценки, тестировать многошаговых агентов, измерять качество Retrieval в RAG и встраивать эвалы в CI/CD. Анализ трейсов и кластеризация ошибок помогут определить, какие классы проблем исправлять в первую очередь.

Курс охватывает оценку текста, изображений и многоходовых чатов. Вы также изучите, как связывать бизнес-метрики с метриками модели, строить таксономию ошибок и использовать оценку качества при принятии продуктовых решений.

Кому подойдёт

Курс рассчитан на AI / ML- и Backend-инженеров, product-менеджеров AI-продуктов, технических лидов и руководителей. Для практических заданий и интеграции фреймворков нужны базовые знания Python и понимание принципов работы с API LLM, например OpenAI.

Принципы оценки применимы к open-source-моделям LLaMA и Mistral, а также к другим API, включая Anthropic. Руководители команд разберут выбор между готовыми платформами и собственной разработкой и организацию процессов оценки внутри команды.

Формат и материалы

Курс рассчитан на пять недель и занимает около 4–6 часов в неделю. В него входят пять сессий общей продолжительностью 7,5 часа, пять реальных кейсов, четыре проекта для портфолио и материалы. Все занятия записываются, поэтому их можно смотреть асинхронно.

Об авторе

Андрей Киселёв — Head of Product. Он создавал AI-продукты для продакшна: от первых RAG в небольших командах до платформ с миллионами вызовов агентов в день. Работал в Revolut и Yandex, где отвечал за внедрение AI-функций.

Программа обучения

  • Сессия 1. Интро и философия эвалов на простом кейсе
    • Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
  • Сессия 2. Error analysis и почему eval-driven development — фантазия
    • Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
  • Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
    • Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
  • Сессия 4. Оценка чат-продуктов end-to-end
    • Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
  • Сессия 5. Подведение итогов и рецепты для продакшна
    • Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны
Складчина создана 15 ноября 2026 г.

Запишитесь бесплатно — цена упадёт для всех

У автора этот материал стоит 79 999 ₽. В складчине сумму делят на всех: чем больше участников, тем меньше взнос каждого.

  1. 1 Оставляете email

    Без оплаты и без карты. Пришлём, как занять место в складчине на нашем основном сайте.

  2. 2 Складчина набирает людей

    Сейчас 6 участников и взнос 15 648 ₽. Ещё 1 человек — и он опустится до 14 990 ₽.

  3. 3 Открывается сбор

    Присылаем итоговую цену. Устроит — платите и получаете материалы. Нет — просто не платите.

  • 46 944 ₽ 2 уч.
  • 31 296 ₽ 3 уч.
  • 15 648 ₽ 6 уч. сейчас
  • 14 990 ₽ 7 уч. цель

Запись ни к чему не обязывает: платите, только если итоговый взнос вас устроит.

Теги курса

Профессии
Навыки
Инструменты

Другие материалы автора 1

Андрей Киселёв Все материалы
14 990 ₽ Записаться бесплатно