LLM и API Security: буткемп по тестированию безопасности AI

Модуль 1. Основы и создание локальной среды

• Подготовка локальной лаборатории для исследования LLM Security • Создание управляющих скриптов • Создание минимального LLM API Gateway на FastAPI • Контейнеризация приложения • Docker Compose • Подключение локального Mock LLM • Создание намеренно уязвимого Chat Endpoint • Проведение первого контролируемого тестирования • Создание Security Regression Test • Исправление утечки системного промпта • Подготовка воспроизводимого отчёта об уязвимости

Модуль 2. Поверхность атаки LLM и моделирование угроз

• Построение схемы потоков данных LLM-приложения • Создание реестра рисков OWASP LLM • Сопоставление техник с MITRE ATLAS • Создание OpenAPI-контракта • Исследование поверхности API • Определение сценариев злоупотребления LLM API • Построение модели угроз • Определение границ доверия • Оценка вероятности и воздействия уязвимостей • Создание плана тестирования безопасности • Архитектурный анализ системы

Модуль 3. Prompt Injection, обработка вывода и утечки данных

• Тестирование Direct Prompt Injection • Тестирование Indirect Prompt Injection • Prompt Injection через полученные системой документы • Фильтрация результатов работы LLM • Принудительное использование структурированного JSON • Исследование небезопасного Markdown и HTML • Ограничение длины и состава входных данных • Проверка утечек персональной информации • Удаление PII из журналов • Проверка стабильности отказов модели • Комплексное тестирование Prompt и Output Security

Модуль 4. API Security, идентификация и авторизация

• Аутентификация через API Key • Проверка отсутствующих и недействительных учётных данных • Безопасное хранение секретов • Перенос секретов в переменные окружения • Проверка JWT • Проектирование Tenant Isolation • OpenAPI Security Schemes • Rate Limiting • Защита от Unbounded Consumption • Добавление Audit ID к запросам и ответам • Безопасная обработка ошибок авторизации • Комплексная проверка API Security

Модуль 5. RAG, embeddings, векторные базы и управление данными

• Создание локального конвейера загрузки документов • Добавление метаданных • Отслеживание источников данных • Развёртывание локального Vector Store • Создание тестовой функции Embedding • Tenant Isolation в Vector Store • Имитация Retrieval Poisoning • Allowlist доверенных источников • Удаление и хранение данных • Аудит RAG-запросов • Комплексное тестирование безопасности RAG

Модуль 6. AI-агенты, инструменты и MCP

• Создание безопасного реестра инструментов • Проверка схем инструментов • Least Privilege для Tool Calls • Подтверждение человеком действий среднего риска • Имитация Tool Poisoning • Анализ безопасности Model Context Protocol • Проектирование Sandboxed Tool Execution • Исследование загрязнения памяти AI-агента • Аудит действий агента • Комплексная проверка Agentic AI Security

Модуль 7. Автоматизированный AI Red Teaming и Fuzzing

• Установка garak • Создание локальной цели для garak • Установка PyRIT • Контролируемое тестирование AI-рисков • Создание собственного Prompt Fuzzing Harness • Оценка результатов тестирования • Создание Regression Corpus • Интеграция тестирования в CI • Создание Evaluation Dashboard • Анализ False Positive и False Negative • Комплексный Automated Red Teaming

Модуль 8. Безопасность платформы, цепочки поставок и CI/CD

• Сканирование контейнеров с Trivy • Создание SBOM с Syft • Проверка SBOM с Grype • Подписание контейнерных образов с Cosign • SLSA-подходы к безопасности сборки • Развёртывание локального Kubernetes с kind • Kubernetes Manifest Security • Политики Kubernetes • Kyverno и Gatekeeper • Проектирование Workload Identity • SPIFFE / SPIRE • Комплексная проверка Supply Chain Security

Модуль 9. Мониторинг, реагирование на инциденты и надёжность

• Структурированные Security Logs • OpenTelemetry • Метрики для LLM Security Operations • Тестирование злоупотребления стоимостью AI • Создание правил оповещения • LLM Security Incident Playbook • Защита от отказов Model Gateway • Chaos Testing • Проверка резервного копирования • Проверка восстановления данных • Комплексное тестирование операционной устойчивости