Полный курс по тестированию на проникновение AI LLM ML
О чём курс
О курсе
Читатель получит теоретическую базу и интенсивную практику в лабораториях по поиску и эксплуатации уязвимостей в системах на основе искусственного интеллекта, машинного обучения и больших языковых моделей. Структура опирается на отраслевые стандарты безопасности, в частности на OWASP Top 10 для LLM и агентных систем.
Для кого
Курс разработан для широкого круга специалистов по безопасности и ИТ:
- пентестеров и специалистов по этичному хакингу;
- участников программ Bug Bounty;
- специалистов команд AI Red Teaming и Offensive Security;
- разработчиков, создающих и внедряющих AI-сервисы;
- всех, кто стремится изучить современные методы атак на AI-инфраструктуру.
Для успешного освоения достаточно базовых навыков работы с компьютером и общих представлений о веб-технологиях. Знание Linux, глубокий опыт пентестинга или навыки программирования не требуются.
Что внутри
Курс детально рассматривает векторы атак на LLM: методы прямой и косвенной инъекции промптов, техники обхода ограничений (jailbreaking), утечки системных инструкций, отравление обучающих выборок и небезопасную передачу данных между компонентами.
Отдельный блок посвящен агентным системам. В нем анализируются риски подмены целей агента, уязвимости протокола MCP, манипуляции памятью и контекстом, выполнение произвольного кода, каскадные сбои в многоагентных системах и мультимодальные атаки через анализ медиафайлов.
Практическая часть ориентирована на отработку навыков в специализированных лабораториях и разбор прикладных соревновательных заданий CTF различного уровня сложности.
Формат
Материал представлен на английском языке и включает 45 тематических разделов, 474 лекции общей длительностью более 40 часов, а также свыше 200 вспомогательных ресурсов. Практические задания включают лабораторные среды PortSwigger, SecOps Group и проекты OWASP.
Об авторе
Martin Voelk — эксперт по информационной безопасности с 26-летним практическим опытом. Обладает престижными профессиональными сертификатами, включая AIRTP+, сертификаты SecOps Group в области безопасности AI, CISSP, OSCP, OSWP, PortSwigger BSCP и Cisco CCIE. Работает в технологической компании и активно участвует в Bug Bounty, где, по словам автора, обнаружил множество уязвимостей критического и высокого уровней опасности.
Программа обучения
Уязвимости OWASP Top 10 для LLM
- LLM01 — Инъекция промптов
- Прямая инъекция промптов
- Косвенная инъекция промптов
- Инъекции, приводящие к выполнению действий AI-агентом
- Инъекции для утечки данных
- Манипуляция памятью модели
- Скрытые и обфусцированные инъекции
- LLM02 — Раскрытие конфиденциальной информации. Поиск ситуаций, при которых модель или приложение раскрывает чувствительные данные.
- LLM03 — Уязвимости цепочки поставок. Анализ рисков, связанных с моделями, библиотеками, внешними компонентами и зависимостями AI-систем.
- LLM04 — Отравление данных и моделей. Атаки, направленные на изменение поведения модели через манипуляцию обучающими данными или другими источниками информации.
- LLM05 — Небезопасная обработка выходных данных. Исследование ситуаций, когда результаты работы LLM небезопасно передаются другим компонентам системы.
- LLM06 — Чрезмерные полномочия. Анализ рисков, возникающих, когда AI или AI-агент получает слишком широкие возможности для выполнения действий.
- LLM07 — Утечка системного промпта. Методы обнаружения и исследования раскрытия системных инструкций модели.
- LLM08 — Уязвимости векторов и эмбеддингов. Исследование атак на системы, использующие векторные базы данных, embeddings и технологии поиска контекста.
- LLM09 — Дезинформация. Исследование проблем достоверности генерируемой информации и способов злоупотребления ими.
- LLM10 — Неограниченное потребление ресурсов. Атаки, приводящие к чрезмерному расходованию вычислительных ресурсов, токенов или другим вариантам отказа в обслуживании.
Безопасность агентных AI-систем
- ASI01 — Перехват цели агента — изменение или подмена первоначальной задачи AI-агента
- ASI02 — Неправомерное использование и эксплуатация инструментов — злоупотребление подключёнными к агенту инструментами
- ASI03 — Злоупотребление идентификацией и привилегиями — атаки на права доступа и идентификацию агентов
- ASI04 — Уязвимости цепочки поставок агентных систем — риски сторонних компонентов, инструментов и интеграций
- ASI05 — Непредвиденное выполнение кода / RCE — ситуации, способные привести к выполнению произвольного кода
- ASI06 — Отравление памяти и контекста — изменение долговременного или текущего контекста работы агента
- ASI07 — Небезопасное взаимодействие между агентами — уязвимости коммуникаций в многоагентных системах
- ASI08 — Каскадные сбои — ситуации, когда ошибка одного агента распространяется на другие компоненты системы
- ASI09 — Эксплуатация доверия человека к AI-агенту — манипулирование пользователем через доверие к результатам работы AI
- ASI10 — Неконтролируемые агенты — сценарии, при которых AI-агент начинает выполнять нежелательные или неконтролируемые действия
Практические лаборатории
- Все лаборатории PortSwigger по AI и Agentic AI
- Учебные лаборатории SecOps Group для AI/LLM Pentester
- Лаборатории SecOps Group по агентному пентестингу
- OWASP PwnzzAI Shop
- OWASP FinBot
- OWASP Top 10 LLM Labs
- OWASP Top 10 for Agentic Applications Labs
Дополнительные направления
- Jailbreaking — методы обхода ограничений и защитных механизмов моделей
- Атаки на AI-браузеры — исследование угроз браузеров и приложений со встроенными AI-агентами
- Атаки на AI-агентов для программирования — исследование безопасности AI Coding Agets
- Атаки через MCP — изучение уязвимостей Model Context Protocol и связанных интеграций
- Мультимодальные атаки — атаки через изображения, аудио и видео
- Инструментарий — специализированные инструменты для исследования безопасности AI/LLM
AI/LLM CTF и практические задания
- Prompt Airlines CTF Challenge
- Selara Jailbreak Game CTF
- Gandalf Agent Breaker CTF
- Hack The Agent CTF
- TensorTrust — игра по атакам и защите от Prompt Injection
- CrowdStrike AI Unlocked Challenge CTF
- Game Arena Challenges CTF
- PromptTrace Prompt Injection Labs CTF
- PromptInjects CTF
- 8ksec CTF
- AIPWN CTF
- Bot Tricks CTF
- Wraith CTF
- OWASP FinBot CTF
- Старые лаборатории Gandalf
- Другие AI/LLM CTF
Теги курса
Отзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.