LLM Security PRO: Prompt Injection, утечки, tool-abuse

О чём курс

Алексей Малышкин показывает, как защищать RAG-сервисы и ИИ-агентов от внедрения инструкций, утечек данных, опасных вызовов инструментов и неконтролируемых расходов на запросы к модели. Вы запустите локальное учебное приложение с RAG, инструментами, API и интерфейсом, подключите его к языковой модели через OpenAI API и последовательно добавите защитные механизмы.

Что вы сделаете

Сначала вы разберёте модель угроз и воспроизведёте типичные ошибки агента. Затем отделите инструкции от данных, вынесете политики безопасности за пределы модели и настроите обработку недоверенных документов в RAG. Для вызовов инструментов курс использует разрешённые списки, проверку параметров, области доступа и подтверждения действий.

Вы также настроите строгий структурированный вывод с проверкой схемы, редактирование чувствительных данных в логах, ограничения бюджета и числа циклов. Финальная часть включает набор атакующих тестов и проверки безопасности в CI/CD, которые помогают обнаруживать повторное появление уязвимостей.

Формат и аудитория

В курсе 28 уроков, 88 тестов и 24 интерактивные задачи. Код и шаблоны размещены в репозитории; учебные задания используют синтетические данные, а API-ключ хранится локально. Материал рассчитан на Python-разработчиков, инженеров ML и данных, тимлидов, архитекторов, а также специалистов AppSec и DevSecOps, которые внедряют языковые модели в продукты.