Съдържание и теми, включени в курса
Модул 1 — Как се чупят AI приложенията
Лабораторно упражнение: няма — архитектурен преглед и дискусия
Ментален модел на разработчика за повърхността на атака.
Теми:
- Архитектури на LLM, RAG и агенти от страната на разработчика
- жизнен цикъл на заявка/отговор при AI функционалност
- поток на промпта: системни, developer, потребителски и инструментални съобщения
- къде недоверените данни влизат (и влизат отново) в модела
- границите на доверие, които разработчикът притежава срещу тези, които наследява
- защо AI атаките са семантични, а не синтактични
- съпоставяне на OWASP Топ 10 за LLM с кода, който пишете
Ключово прозрение: Всяко място, където недоверен текст достига до модела – или изходът на модела достига до вашия код – е граница, която вие притежавате.
Модул 2 — Инжектиране на промптове за разработчици
Лабораторно упражнение: Lab 01 — 01-Prompt-Injection
„Моментът на SQL инжекция“ за AI – но не можете напълно да избягате от него.
Теми:
- директно срещу индиректно инжектиране на промптове
- скрити инструкции в документи, уеб страници, изход от инструменти
- jailbreak и объркване на роли
- защо разделянето на инструкциите от данните има значение
- защитен дизайн на промптовете (разделители, структура, минимална власт)
- защо превенцията е частична – проектиране за ограничаване
Практически упражнения:
- атакувайте собствения си чатбот
- заобиколете наивен филтър
- преструктурирайте промпта, за да намалите радиуса на поражение
Модул 3 — Третиране на изхода на модела като недоверен
Лабораторно упражнение: Lab 02 — 02-Output-Handling
Класът от бъгове, който разработчиците най-много подценяват.
Теми:
- изходът на модела като недоверен вход за останалата част от приложението
- несигурна обработка на изхода (LLM02): XSS, SSRF, командна/SQL инжекция надолу по веригата
- никога не eval/exec/rendering на суров изход от модел
- структурирани изходи и валидация на схема
- кодиране на изхода и разрешителни списъци
- безопасно рендиране в уеб/UI контексти
Практически упражнения:
- намерете и поправете уязвимост от несигурна обработка на изхода
- наложете JSON схема върху отговорите на модела
Модул 4 — Сигурност на RAG
Лабораторно упражнение: Lab 03 — 03-RAG-Security
Една от най-големите нови повърхности за атака – и тя е ваша за изграждане.
Теми:
- векторна БД и заплахи при извличането
- санитизиране при поглъщане
- произход на документи и точкуване на доверие
- обхват на извличане и изолация на метаданни
- скрити инструкции в извлечено съдържание (индиректно инжектиране)
- ексфилтрация на данни чрез извличане
Практически упражнения: - замърсете RAG pipeline със зловреден документ - добавете санитизиране при поглъщане и обхват на извличане, за да го защитите
Модул 5 — Безопасност на агенти и инструменти
Лабораторно упражнение: Lab 04 — 04-Agent-Safety
Където бъгът се превръща в действие.
Теми:
- прекомерна агентност (LLM06) и злоупотреба с инструменти
- най-малко привилегии за агенти
- разрешителни списъци за инструменти и валидация на аргументи
- портали за одобрение и човек в цикъла
- изпълнение в пясъчник за инструменти
- ограничени по обхват и краткотрайни удостоверения за агенти
- ограничаване на автономни цикли и верижно свързване
Практически упражнения:
- заключете агент с прекомерни права
- добавете разрешителен списък + портал за одобрение към опасен инструмент
Модул 6 — Тайни, идентичност и разходи
Лабораторно упражнение: Lab 05 — 05-Secrets-and-Cost
Оперативните грешки, които болят най-бързо.
Теми:
- управление на API ключове и тайни (никога в промптове, код или логове)
- удостоверяване и оторизация на потребител за AI функционалности
- разпространение на потребителската идентичност към инструменти и извличане
- denial-of-wallet: неограничена консумация на токени/разходи
- лимити на скорост, токен бюджети и таймаути
- логване без изтичане на тайни или лични данни (PII)
Практически упражнения:
- извадете тайните от пътя на промпта/кода
- добавете лимити на скорост на потребител и токен/разходен бюджет
Модул 7 — Библиотеки за предпазни огради
Лабораторно упражнение: Lab 06 — 06-Guardrails
Купи срещу изгради за безопасност на входа/изхода.
Теми:
- какво правят (и не правят) рамките за предпазни огради
- входни предпазни огради: класификатори за инжектиране/PII/теми
- изходни предпазни огради: валидация, филтриране, проверки за обоснованост
- кога предпазната ограда е подходяща срещу ваша собствена детерминистична проверка
- наслояване на предпазни огради с контролите от предишните модули
- производителност, фалшиви положителни резултати и режими на отказ
Практически упражнения:
- добавете слой от входни/изходни предпазни огради към AI функционалност
- измерете какво улавя и какво пропуска
Модул 8 — Red-Teaming на собственото ви приложение
Лабораторно упражнение: Lab 07 — 07-Red-Teaming
Доставете го така, сякаш атакуващият вече го има.
Теми:
- изграждане на тестов пакет за злоупотреба/сигурност за AI функционалности
- автоматизирани тестове за инжектиране на промптове и jailbreak
- регресионно тестване на предпазни огради и политики
- изпълнение на AI проверки за сигурност в CI
- верига на доставки на модела и зависимостите (произход, фиксиране на версии)
- контролен списък за сигурност преди доставка за AI функционалности
Практически упражнения:
- напишете автоматизирани red-team тестове за AI функционалност
- включете ги в CI проверка
Модул 9 — Оценяване на AI сигурността: SAIS-100 рамката
Лабораторно упражнение: няма — упражнение за оценяване (използва Capstone приложението)
Превърнете всичко, което сте изградили, в повторима оценка.
Теми:
- Шестоъгълникът на AI сигурността: шест въпроса вместо „сигурно ли е?“
- шестте оценявани категории (Данни, Промпт, Агент, Верига на доставки, Откриване, Управление)
- 100-точковата скала и нейните тегла
- групи за присъда и правилото за отмяна на една категория
- Elephant Scale Secure AI Score (SAIS-100) като брандирана, приложима повторно рамка
- оценяване преди/след укрепване като метрика
Практически упражнения:
- оценете Capstone приложението по 100-точковата скала
- посочете единствената промяна, която най-много повишава резултата
Ключово прозрение: Трите категории с най-висока тежест съответстват на границите на доверие, които разработчикът притежава – така че резултатът измерва точно това, на което научи този курс.
Capstone
Студентите укрепват цялостно умишлено уязвимо AI приложение.
Стартовото приложение съдържа:
- уязвим за инжектиране промпт
- несигурна обработка на изхода
- неограничен RAG pipeline
- агент с прекомерни права
- тайни в пътя на промпта
- липса на лимити за разходи
Студентите прилагат курса:
- преструктурират промптовете за ограничаване
- валидират и кодират изхода на модела
- санитизират и ограничават обхвата на извличане
- прилагат най-малко привилегии и портали за одобрение към агента
- преместват тайните навън и добавят лимити за разходи/скорост
- добавят предпазни огради и автоматизирани red-team тестове
Краен резултат: укрепено приложение плюс кратка самооценка по OWASP Топ 10 за LLM.
Карта на модулите и лабораторните упражнения
Лабораторните упражнения се изпълняват в лабораторен ред, който следва реда на модулите. Курсът има 9 модула и 7 лабораторни упражнения: Модул 1 е архитектурен преглед/дискусия, а Модул 9 е упражнение за оценяване, така че нито едно от тях няма собствена папка за лабораторни упражнения.
- Lab 01 - 01-Prompt-Injection: Атакувайте вашия чатбот и проектирайте за ограничаване (Модул 2)
- Lab 02 - 02-Output-Handling: Поправете бъг с несигурна обработка на изхода (Модул 3)
- Lab 03 - 03-RAG-Security: Замърсете и след това защитете RAG pipeline (Модул 4)
- Lab 04 - 04-Agent-Safety: Заключете агент с прекомерни права (Модул 5)
- Lab 05 - 05-Secrets-and-Cost: Обезопасете ключове + добавете предпазни огради за разходите (Модул 6)
- Lab 06 - 06-Guardrails: Добавете слой от входни/изходни предпазни огради (Модул 7)
- Lab 07 - 07-Red-Teaming: Автоматизирани red-team тестове в CI (Модул 8)
Модул 1 (Как се чупят AI приложенията) няма лабораторно упражнение – той се провежда като архитектурен преглед и дискусия. Модул 9 (Оценяване на AI сигурността) няма папка за лабораторни упражнения – той се провежда като упражнение за оценяване върху Capstone приложението.
Изисквания
- Ниво на умения: Средно.
- Студентите трябва да се чувстват комфортно с: изграждане и консумиране на REST API, скриптов език (лабораторните упражнения използват Python), основно удостоверяване на приложения, git и CLI.
- Не се изисква опит в машинното обучение – това е курс по сигурност на приложения за хора, които изграждат с LLM, а не които ги обучават.
Аудитория
- Софтуерни / backend инженери, изграждащи функционалности с LLM
- Full-stack и API разработчици
- Инженери по AI/ML приложения
- Платформени инженери, доставящи копилоти и агенти
- Технически лидери и старши инженери, отговорни за AI функционалности
Отзиви от участници (2)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод
Професионалните знания и начинът, по който ни ги представи
Miroslav Nachev - PUBLIC COURSE
Курс - Cybersecurity in AI Systems
Машинен превод
