AI Security — практикум по безопасности ИИ приложений

12 участников

О чём курс

О практикуме

Иван Александров учит проверять безопасность ИИ-приложений через задания в формате CTF: сначала вы пробуете провести атаку, затем разбираете её механизм и способы защиты. Теория дана короткими блоками. Для выполнения заданий код писать не требуется: работа идёт через чат, формы и загрузку файлов.

Практикум охватывает prompt injection, jailbreak, скрытые инструкции в обрабатываемом контенте, атаки на агентов и RAG. Автор также знакомит с автоматизированными подходами PAIR, TAP и GCG на уровне принципа attack loop. В защитном блоке разбираются усиление промптов, guardrails и фильтрация входных и выходных данных.

Кому подойдёт

Курс адресован специалистам по информационной безопасности, разработчикам и продакт-менеджерам AI-продуктов, QA-инженерам, студентам и исследователям AI safety. Он также рассчитан на пользователей языковых моделей, которые хотят понимать типовые уязвимости таких систем. Подход применим к приложениям, собранным в n8n, созданным с помощью вайбкодинга или написанным вручную.

Для старта достаточно понимать, что языковая модель генерирует текст, и иметь опыт диалога с ChatGPT, Claude, Gemini или другой LLM. Понадобится читать английские технические термины либо пользоваться переводчиком: часть атак использует англоязычные промпты.

Объём и результат

В курс входят 20 уроков и 105 тестов. Вы познакомитесь с типами атак на LLM-приложения и попробуете оценивать защиту промптов, агентских действий и содержимого базы знаний. Практические задания дают материал для проверки собственных AI-продуктов и работы с adversarial testing.

Программа обучения

  1. ВВедение - Зачем ломать ИИ Всё что нужно для старта! Из чего состоит ИИ-приложение CTF-0: Первый взлом — Hello, Injection!
  2. Prompt Injection. Твоя цель - соглашаться со всем что скажет клиент CTF-1: Бодрый Флибустьер Четыре класса Prompt Injection CTF-marathon Защита от Prompt Injection
  3. Jailbreak Что такое Jailbreak — зачем и как ломают модели Социальные jailbreak-и CTF: социальные jailbreak-и Технические jailbreak-и CTF: технические jailbreak-и
  4. Агенты и непрямые PI Инъекция вышла из чата Payload везде: векторы косвенной инъекции CTF: Косвенная инъекция — IN_AGENT Агенты: LLM, который начал действовать CTF: первые взломы InAgent Support
  5. Мультиагенты и финиш. CTF: Операция «Сорок восьмой» А если агентов много?
Складчина создана 6 июня 2026 г. · описание обновлено 25 октября 2026 г.

Теги курса

Инструменты
580 ₽ 2 900 ₽