Съдържание и теми, включени в курса
Модул 1 — AI системи за инженери по сигурност
Лаборатория: Lab 01 — 01-Introduction
Разбиране на архитектурата.
Теми:
- LLM срещу нормални приложения
- Тръбопроводи за AI инференция
- Поток на промптовете
- RAG архитектура
- ембединги/векторни бази данни
- агентни работни потоци
- извикване на инструменти
- AI шлюзове
- копилоти
- MCP и агентни протоколи
- къде съществува видимост за WAF
- къде видимостта за WAF изчезва
Ключово прозрение: Традиционните WAF често губят видимост след като промптът достигне модела.
Модул 2 — OWASP GenAI Топ 10
Лаборатория: няма — интерактивен преговор/дискусия
Основни категории AI атаки.
Теми:
- Инжектиране на промптове
- Несигурно обработване на изход
- Отравяне на тренировъчни данни
- Моделен DoS
- Уязвимости във веригата на доставки
- Разкриване на чувствителна информация
- Прекомерна агентност
- Слабости във векторите/ембедингите
- Дезинформация
- Неограничена консумация
Включва:
- Разлики от класическия OWASP
- Съотнасяне към защитни контроли (WAF, шлюз, приложен слой)
- Къде всеки контрол помага
- Къде всеки контрол се проваля
Модул 3 — Детекция на инжектиране на промптове
Лаборатория: Lab 02 — 02-Prompt-Injection
Моментът „SQL инжекция“ за AI.
Теми:
- Директно инжектиране на промптове
- Непряко инжектиране на промптове
- Скрити инструкции
- Атаки, базирани на документи
- HTML/Markdown инжекция
- Модели на джейлбрейк
- Атаки за отмяна на контекст
- Атаки за объркване на роли
Стратегии за детекция:
- евристики с ключови думи
- семантична класификация
- линтиране на промптове
- налагане на граници на инструкциите
- политики за разрешаване/забрана
- AI-ориентирани регекс модели
Практически лабораторни упражнения:
- Атакувайте чатбот
- Заобиколете наивни филтри
- Изградете многослойна детекция
Модул 4 — AI-ориентирани WAF правила
Лаборатория: Lab 03 — 03-WAF-Basics
Как WAF правилата еволюират за AI системи.
- Теми:
- защита на LLM крайни точки
- защита на API за инференция
- ограничаване на скоростта, съобразено с токени
- инспекция на размера на промпта
- сигнатури, специфични за AI
- детекция на аномалии в разговори
- модели на злоупотреба в множество ходове
- опити за изброяване на модели
- изстъргване на инференция
- denial-of-wallet защита
Примери:
- защита на /v1/chat/completions
- защита на стрийминг API
- блокиране на рекурсивни извиквания от агенти
Модул 5 — Защита на RAG тръбопроводи
Лаборатория: Lab 04 — 04-RAG-Security
Една от най-големите нови повърхности за атака.
Теми:
- заплахи за векторни БД
- отравяне на ембединги
- злонамерени PDF/документи
- манипулация на извличането
- семантично отравяне
- скрити инструкции в документи
- кръстосано замърсяване на документи
- ексфилтрация на данни чрез извличане
Защити:
- саниране при поглъщане
- оценка на доверие
- изолация на метаданни
- произход на документа
- политики за извличане
- сегментиране
Казус: „Качете отровен PDF и превземете AI асистента.“
Модул 6 — Сигурност на агентен AI
Лаборатория: Lab 05 — 05-Agent-Security
Където нещата стават опасни.
Теми:
- прекомерна агентност
- злоупотреба с инструменти
- API верижно свързване
- автономни цикли
- ескалация на привилегии
- отравяне на паметта
- непряко изпълнение на инструменти
- имитиране на агент
- изтичане на идентификационни данни
- многоагентни атаки
Защити:
- най-малко привилегии за агенти
- порти за одобрение
- двигатели за политики по време на изпълнение
- пясъчна среда
- ограничени идентификационни данни
- бял списък на инструменти
- човек в цикъла
Това е секцията, за която мениджърите обикновено се интересуват най-много, защото рискът става оперативен и влияещ на бизнеса.
Модул 7 — API сигурност за AI
Лаборатория: Lab 06 — 06-Denial-of-Wallet
AI системите са тежки за API.
Теми:
- API шлюзове
- GraphQL AI рискове
- MCP/API злоупотреба
- JWT защита
- сигурност на AI плъгини
- автентикация на агенти
- делегирана авторизация
- управление на тайни
- подписани промптове
- API инвентар за AI
Връзка с: OWASP API Security Топ 10
Модул 8 — Инженерство за детекция и SOC интеграция
Лаборатория: Lab 07 — 07-Detection
Оперативна защита.
Теми:
- AI телеметрия
- логиране на промптове
- анализ на токени
- детекция на аномалии
- семантични SIEM тръбопроводи
- индикатори за AI атака
- лов на заплахи за LLM злоупотреба
- наблюдаемост по време на изпълнение за AI
Примери:
- детекция на кампании за джейлбрейк
- засичане на автоматизирана агентна злоупотреба
- идентифициране на изстъргване на модели
Модул 9 — Облачни WAF и AI сигурност
Лаборатория: няма — интерактивен преговор/дискусия
Специфични за доставчика имплементации.
Теми:
- AWS WAF за AI API
- Azure WAF
- Cloudflare AI Gateway
- API шлюзове
- Envoy AI филтриране
- Kong AI Gateway
- NGINX AI модели за сигурност
Сравнение:
- традиционен WAF срещу AI шлюз срещу преграден механизъм на приложно ниво
- базирано на прокси срещу семантично филтриране
Модул 10 — Изграждане на многослойна AI защита
Лаборатория: Lab 08 — 08-Layered-Defense
Важен философски извод:
Нито един отделен слой не може да защити AI (WAF най-малко от всички, сам по себе си).
Студентите изграждат многослоен модел:
- WAF
- API шлюз
- AI шлюз
- Преградни механизми
- Мониторинг по време на изпълнение
- Идентичност/авторизация
- Пясъчна среда
- Човешко одобрение
- Наблюдаемост
- Реакция при инциденти
Това силно съответства на модела за „многослойна сигурност“.
Карта Модул ↔ Лаборатория
Лабораториите се провеждат в лабораторен ред, който следва реда на модулите.
Курсът има 10 модула, но 8 лаборатории: Модули 2 и 9 са интерактивен преговор/дискусия и нямат лаборатория.
Всяка лаборатория е маркирана със своя модул в тази програма.
- Lab 01 (Модул 1)
- Папка: 01-Introduction
- Заглавие: Изследвайте AI система — какво има по жицата
- Lab 02 (Модул 3)
- Папка: 02-Prompt-Injection
- Заглавие: Атакувайте чатбот и заобиколете наивно филтриране
- Lab 03 (Модул 4)
- Папка: 03-WAF-Basics
- Заглавие: Изградете AI-ориентирани WAF правила
- Lab 04 (Модул 5)
- Папка: 04-RAG-Security
- Заглавие: Отровете RAG тръбопровод
- Lab 05 (Модул 6)
- Папка: 05-Agent-Security
- Заглавие: Защитете автономен агент
- Lab 06 (Модул 7)
- Папка: 06-Denial-of-Wallet
- Заглавие: Детектирайте denial-of-wallet атаки
- Lab 07 (Модул 8)
- Папка: 07-Detection
- Заглавие: Наблюдавайте модели на злоупотреба с AI в логове
- Lab 08 (Модул 10)
- Папка: 08-Layered-Defense
- Заглавие: Изградете архитектура за многослойна AI защита
Капстоун
Студентите защитават симулиран корпоративен AI асистент.
Атакуващите се опитват да:
- инжектират промптове
- злоупотребят с инструменти
- откраднат идентификационни данни
- отровят извличането
- предизвикат прекомерна API консумация
- ескалират чрез агент
Екипите изграждат:
- WAF правила
- AI шлюз политики
- детекция по време на изпълнение
- преградни механизми
- реакция при инциденти
Изисквания
- Студентите трябва вече да разбират HTTP/API сигурност, проксита/обратни проксита, автентикация, OWASP Топ 10, REST API и основи на облачните мрежи
Аудитория
- Инженери по сигурност и AppSec
- SOC анализатори и инженери по детекция
- Инженери по API сигурност
- Специалисти по облачна / API / платформена сигурност
- DevSecOps инженери
- Архитекти по сигурност
- Специалисти по WAF / мрежова сигурност
- Инженери на AI платформи
Отзиви от участници (2)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод
Професионалните знания и начинът, по който ни ги представи
Miroslav Nachev - PUBLIC COURSE
Курс - Cybersecurity in AI Systems
Машинен превод