Курс за обучение по OWASP GenAI Security

Ден 1: Основи и основни заплахи

Модул 1: Въведение в проектa OWASP GenAI Security (1 час)

Учебни цели:

• Разбиране на еволюцията от OWASP Top 10 към специфичните предизвикателства за сигурността на GenAI
• Изследване на екосистемата и ресурсите на проектa OWASP GenAI Security
• Идентифициране на основните разлики между традиционната сигурност на приложенията и сигурността на AI

Разгледани теми:

• Преглед на мисията и обхвата на проектa OWASP GenAI Security
• Въведение в рамката Threat Defense COMPASS
• Разбиране на пейзажа на AI сигурността и регулаторните изисквания
• Повърхности за атакa при AI срещу традиционни уязвимости в уеб приложения

Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на заплахите

Модул 2: OWASP Top 10 за LLM - Част 1 (2,5 часа)

Учебни цели:

• Освоение на първите пет критични уязвимости на LLM
• Разбиране на векторите на атакa и техниките за експлоатация
• Прилагане на практически стратегии за намаление на риска

Разгледани теми:

LLM01: Вмъкване на промпт (Prompt Injection)

• Директни и индиректни техники за вмъкване на промпт
• Атаки с скрити инструкции и кръстосано замърсяване на промптовете
• Практически примери: Захакване на чатботове и заобикаляне на мерки за сигурност
• Стратегии за защита: Саниране на входа, филтриране на промптове, диференциална поверителност

LLM02: Разкриване на чувствителна информация

• Извличане на данни за обучение и изтичане на системни промптове
• Анализ на поведението на модела за излагане на чувствителна информация
• Въпроси за поверителност и съображения за регулаторно съответствие
• Намаление на риска: Филтриране на изхода, контрол на достъпа, анонимизация на данни

LLM03: Уязвимости в веригата на доставките

• Зависимости от модели на трети страни и сигурност на плъгините
• Компрометирани набори от данни за обучение и отравяне на модели
• Оценка на риска на доставчиците за AI компоненти
• Практики за сигурно разгръщане и верификация на модели

Практическо упражнение: Лаборатория с практика на живо за демонстрация на атаки за вмъкване на промпт срещу уязвими LLM приложения и прилагане на защитни мерки

Модул 3: OWASP Top 10 за LLM - Част 2 (2 часа)

Разгледани теми:

LLM04: Отравяне на данни и модели

• Техники за манипулиране на данните за обучение
• Промяна на поведението на модела чрез отровени входни данни
• Атаки на задни врати и верификация на целостта на данните
• Предотвратяване: Пайплайни за валидиране на данни, проследяване на произхода

LLM05: Неправилно обработване на изхода

• Несигурна обработка на съдържанието, генерирано от LLM
• Вмъкване на код чрез изходи, генерирани от AI
• Кръстосано засичане на скриптове чрез отговори на AI
• Рамки за валидиране и саниране на изхода

Практическо упражнение: Симулиране на атаки за отравяне на данни и прилагане на здрави механизми за валидиране на изхода

Модул 4: Разширени заплахи за LLM (1,5 часа)

Разгледани теми:

LLM06: Прекомерна автономия

• Рискове от автономно вземане на решения и нарушаване на граници
• Власт и управление на разрешенията на агентите
• Ненамерени взаимодействия със системата и ескалиране на привилегии
• Прилагане на бариери и контроли за човешки надзор

LLM07: Изтичане на системни промптове

• Уязвимости от излагане на системни инструкции
• Разкриване на данни за вход и логика чрез промптове
• Техники за атака за извличане на системни промптове
• Защита на системните инструкции и външната конфигурация

Практическо упражнение: Проектиране на сигурни агентни архитектури с подходящ контрол на достъпа и мониторинг

Ден 2: Разширени заплахи и имплементация

Модул 5: Емерджинг AI заплахи (2 часа)

Учебни цели:

• Разбиране на последните разработки в областта на AI сигурността
• Имплементиране на разширени техники за откриване и предотвратяване
• Проектиране на устойчиви AI системи срещу изтънчени атаки

Разгледани теми:

LLM08: Слабости в векторите и вграждането

• Уязвимости в RAG системи и сигурност на векторните бази данни
• Отравяне на вграждането и атаки за манипулиране на подобността
• Адверсариални примери в семантичното търсене
• Защита на векторните съхранения и прилагане на откриване на аномалии

LLM09: Дезинформация и надеждност на моделите

• Откриване и намаляване на халюцинациите
• Усиление на предубедеността и въпроси за справедливостта
• Механизми за фактчекинг и верификация на източниците
• Валидиране на съдържанието и интеграция на човешки надзор

LLM10: Безграничен консумация

• Изтощение на ресурсите и атаки за отказ на услугата
• Стратегии за ограничаване на скоростта и управление на ресурсите
• Оптимизация на разходите и контрол на бюджета
• Системи за мониторинг на производителността и алармиране

Практическо упражнение: Създаване на сигурен RAG пайплайн с защита на векторната база данни и откриване на халюцинации

Модул 6: Сигурност на агентните AI (2 часа)

Учебни цели:

• Разбиране на специфичните предизвикателства за сигурността на автономните AI агенти
• Прилагане на таксономията OWASP Agentic AI към реални системи
• Имплементиране на контроли за сигурност в многоагентни среди

Разгледани теми:

• Въведение в агентните AI и автономните системи
• OWASP Agentic AI Threat Taxonomy: Дизайн на агентите, Памет, Планиране, Използване на инструменти, Разгръщане
• Сигурност на многоагентните системи и рискове от координация
• Неправомерно използване на инструменти, отравяне на паметта и атаки за отнемане на целите
• Защита на комуникацията на агентите и процесите на вземане на решения

Практическо упражнение: Упражнение по моделуване на заплахи, използвайки таксономията OWASP Agentic AI, върху многоагентна система за обслужване на клиенти

Модул 7: Имплементация на OWASP Threat Defense COMPASS (2 часа)

Учебни цели:

• Освоение на практическото приложение на Threat Defense COMPASS
• Интегриране на оценката на AI заплахите в организационните програми за сигурност
• Разработване на комплексни стратегии за управление на AI риска

Разгледани теми:

• Детайлно разглеждане на методологията Threat Defense COMPASS
• Интеграция на OODA Loop: Наблюдение, Ориентация, Решение, Действие
• Мапиране на заплахите към рамките MITRE ATT&CK и ATLAS
• Създаване на табло за дъска за стратегия за устойчивост на AI заплахи
• Интеграция с наличните инструменти и процеси за сигурност

Практическо упражнение: Пълна оценка на заплахите, използвайки COMPASS, за сценарий на разгръщане на Microsoft Copilot

Модул 8: Практическа имплементация и най-добри практики (2,5 часа)

Учебни цели:

• Проектиране на сигурни AI архитектури от нулата
• Имплементиране на мониторинг и реакция на инциденти за AI системи
• Създаване на рамкову за управление на AI сигурността

Разгледани теми:

Сигурен жизнен цикъл на AI развитието:

• Принципи за сигурност по дизайн за AI приложения
• Практики за преглед на кода за интеграции с LLM
• Методологии за тестуване и сканиране за уязвимости
• Сигурност при разгръщане и харденинг в производство

Мониторинг и откриване:

• Изисквания за логериране и мониторинг, специфични за AI
• Откриване на аномалии в AI системи
• Процедури за реакция на инциденти при AI събития за сигурност
• Техники за форензика и разследване

Управление и съответствие:

• Рамки и политики за управление на AI риска
• Въпроси за регулаторно съответствие (GDPR, AI Act, и др.)
• Оценка на риска на трети страни за AI доставчици
• Обучение за осведоменост за сигурност на екипите за AI развитие

Практическо упражнение: Проектиране на пълна архитектура за сигурност за корпоративен AI чатбот, включваща мониторинг, управление и процедури за реакция на инциденти

Модул 9: Инструменти и технологии (1 час)

Учебни цели:

• Оценка и имплементиране на инструменти за AI сигурност
• Разбиране на текущия пейзаж на решенията за AI сигурност
• Изграждане на практически способности за откриване и предотвратяване

Разгледани теми:

• Екосистема от инструменти за AI сигурност и пейзаж на доставчици
• Инструменти с отворен код: Garak, PyRIT, Giskard
• Комersiални решения за AI сигурност и мониторинг
• Шаблони за интеграция и стратегии за разгръщане
• Критерии за подбор на инструменти и рамки за оценка

Практическо упражнение: Практическа демонстрация на инструменти за тестване на AI сигурността и планиране на имплементация

Модул 10: Бъдещи тенденции и резюме (1 час)

Учебни цели:

• Разбиране на емерджинг заплахите и бъдещите предизвикателства за сигурността
• Разработване на стратегии за непрекъснато учене и подобряване
• Създаване на планове за действие за организационните програми за AI сигурност

Разгледани теми:

• Емерджинг заплахи: Дипфейкове, разширено вмъкване на промпт, инверсия на модели
• Бъдещи разработки и пътна карта на проектa OWASP GenAI
• Изграждане на общности за AI сигурност и споделяне на знания
• Непрекъснато подобряване и интеграция на разведателна информация за заплахите

Упражнение по планиране на действия: Разработване на 90-дневен план за действие за имплементиране на практиките за сигурност на OWASP GenAI в организациите на участниците