LLMOps & Evaluation: из песочницы в продакшн

Введение в LLMOps Почему обычный prompt engineering не работает в продакшне Классические боли Обзор инструментов для LLMOps Разбор реальных кейсов, где LLMOps сделал разницу Практикум Архитектура и пайплайны LLM-приложений Компоненты продакшн-системы Best practices для пайплайнов RAG и агентов Управление версиями промптов и моделей (PromptOps) Логирование и трассировка: как не терять контроль над моделью Практикум Метрики качества LLM-систем Почему «accuracy» ≠ качество в LLM Классические метрики Современные метрики User-oriented метрики Как построить дашборд для мониторинга качества Evaluation на практике Как тестировать промпты и пайплайны (unit tests для LLM) Автоматизированные A/B тесты с помощью LLM-оценки Human-in-the-loop: когда и зачем нужны люди в тестировании Генерация тест-датасетов (synthetic data) для проверки модели Практика: написать собственный фреймворк для оценки LLM Monitoring & Observability Как мониторить продакшн-LLM Alerting и логирование промптов/ответов Борьба с деградацией качества (drift detection) Cost management: оптимизация бюджета на LLM Advanced Topics (для PRO) Ragas: как построить автоматическую систему оценки RAG-проектов OpenAI Evals и Custom Evals LLM-based judges (оценка ответов через LLM) Safety & Red-teaming Интеграция с CI/CD: автоматические quality-гейты для деплоя Практический проект Построение RAG-системы с автоматической оценкой качества Настройка метрик и мониторинга Проведение A/B тестов между версиями промптов Сбор и анализ результатов → финальный отчёт