Стратегии кибербезопасности систем ИИ: от GenAI до агентного ИИ

О чём курс

Дерек Фишер разбирает методы защиты генеративного и агентного искусственного интеллекта от угроз нового поколения, основанных на манипуляции логикой и намерениями систем. В центре внимания находится семантический сдвиг в сфере кибербезопасности: злоумышленники переходят от эксплуатации синтаксических ошибок в программном коде к атакам с внедрением инструкций, отравлению обучающих данных и перехвату целей в автономных цепочках.

Автор рассматривает принципы построения архитектур генеративного ИИ, методы оценки рисков их безопасности и интеграцию специализированных защитных мер в корпоративные программы кибербезопасности. Вы разберёте специфические уязвимости моделей, способы предотвращения утечек данных через логические рассуждения и механизмы защиты мультимодальных систем от кросс-модальных атак.

Фреймворки и практические инструменты

В программе объединены основные отраслевые стандарты и инструменты для обеспечения безопасности ИИ:

• Списки OWASP Top 10 для приложений на базе больших языковых моделей и агентного ИИ, охватывающие риски от инъекций запросов до перехвата целей агента и злоупотребления идентификацией.
• Структура управления рисками NIST AI RMF с функциями Govern, Map, Measure и Manage для выстраивания процессов защиты в масштабах организации.
• База знаний Mitre ATLAS, описывающая реальные тактики и методы атак на системы машинного обучения.
• Девятиэтапная структура безопасного жизненного цикла LLMSecOps, охватывающая этапы от планирования до непрерывного мониторинга в продакшене.
• Система скоринга AIVSS, комбинирующая метрики CVSS и оценку рисков агентных систем AARS для количественного расчёта безопасности.
• Технологии повышения конфиденциальности, включая дифференциальную приватность, федеративное обучение, гомоморфное шифрование и доверенные среды выполнения.

Практический кейс PHAIMIS

Теоретический материал закрепляется на примере критически важной системы учёта запасов в аптеке PHAIMIS. На этой задаче автор показывает применение стандартов NIST, Mitre и OWASP к реальному сценарию, где сбои в алгоритмах принятия решений напрямую влияют на безопасность пациентов.

Курс также охватывает подготовку отчётности и технической документации для внешнего аудита: работу с AIBOM, SBOM и типовыми карточками моделей. В части регуляторных требований разбираются Закон ЕС об искусственном интеллекте, классификация уровней риска, Указ Президента США № 14110 и рекомендации FDA.

Для кого и требования

Курс рассчитан на специалистов, работающих с разработкой и защитой программных решений:

• Специалисты по безопасности приложений и инженеры, расширяющие компетенции в сферу защиты ИИ.
• Разработчики и ML-инженеры, интегрирующие автономные алгоритмы в корпоративную инфраструктуру.
• Руководители направлений ИТ-рисков, комплаенса и технические менеджеры, отвечающие за соответствие нормативным стандартам.

Для освоения программы требуются понимание основных концепций кибербезопасности, знание принципов безопасности приложений, жизненного цикла разработки ПО (SDLC) и общее понимание механизмов работы искусственного интеллекта.