Курс за обучение по OWASP GenAI Security

Ден 1: Основи и основни заплахи

Модул 1: Въведение в OWASP GenAI Security Project (1 час)

Обучителни цели:

• Разбиране на еволюцията от OWASP Top 10 към предизвикателствата за сигурност, специфични за GenAI.
• Изследване на екосистемата и ресурсите на OWASP GenAI Security Project.
• Идентифициране на ключовите разлики между сигурността на традиционните приложения и сигурността на AI.

Обхванати теми:

• Преглед на мисията и обхвата на OWASP GenAI Security Project.
• Въведение в рамката Threat Defense COMPASS.
• Разбиране на пейзажа на сигурността на AI и регулаторните изисквания.
• Повърхност на атаките на AI срещу уязвимости на традиционните уеб приложения.

Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на заплахи.

Модул 2: OWASP Top 10 за LLM - Част 1 (2.5 часа)

Обучителни цели:

• Овладяване на първите пет критични уязвимости на LLM.
• Разбиране на векторите на атака и техниките за експлоатация.
• Прилагане на практически стратегии за смекчаване.

Обхванати теми:

LLM01: Впръскване на промпт (Prompt Injection)

• Техники за директно и косвено впръскване на промпт.
• Атаки със скрити инструкции и кръстно контаминаране на промптовете.
• Практически примери: Jailbreaking на чатботове и заобикаляне на защитни мерки.
• Стратегии за защита: Санитизация на входните данни, филтриране на промптове, диференциална поверителност.

LLM02: Разкриване на чувствителна информация

• Екстракция на обучаващите данни и разкриване на системния промпт.
• Анализ на поведението на модела за излагане на чувствителна информация.
• Импликации за поверителност и съображения за спазване на регулациите.
• Смекчаване: Филтриране на изхода, контрол на достъпа, анонимизиране на данните.

LLM03: Уязвимости в веригата на доставки (Supply Chain)

• Зависимости от трети страни и сигурност на плъгините.
• Компрометирани обучаващи набори данни и отравяне на модела.
• Оценка на риска при доставчиците за AI компонентите.
• Практики за сигурно внедряване и проверка на моделите.

Практическо упражнение: Практическо лабораторно упражнение, демонстриращо атаки с впръскване на промпт срещу уязвими LLM приложения и внедряване на защитни мерки.

Модул 3: OWASP Top 10 за LLM - Част 2 (2 часа)

Обхванати теми:

LLM04: Отравяне на данни и модели

• Техники за манипулация на обучаващите данни.
• Модифициране на поведението на модела чрез отровени входове.
• Атаки с заден вход (backdoor) и проверка на целостта на данните.
• Предотвратяване: Пайплайни за валидация на данните, проследяване на произхода.

LLM05: Неправилна обработка на изхода

• Несигурна обработка на съдържанието, генерирано от LLM.
• Впръскване на код чрез AI-генерирани изходи.
• Междусайтово скриптиране (XSS) чрез AI отговори.
• Рамки за валидиране и санитизация на изхода.

Практическо упражнение: Симулиране на атаки с отравяне на данни и внедряване на устойчиви механизми за валидация на изхода.

Модул 4: Разширени заплахи за LLM (1.5 часа)

Обхванати теми:

LLM06: Излишна агенция (Excessive Agency)

• Рискове при автономно вземане на решения и нарушения на границите.
• Управление на правата и разрешенията на агента.
• Непреднамерени взаимодействия с системата и ескалиране на привилегии.
• Внедряване на защитни граници (guardrails) и контрол на човешкия надзор.

LLM07: Разкриване на системния промпт (System Prompt Leakage)

• Уязвимости при излагането на системните инструкции.
• Разкриване на идентификатори и логика чрез промптовете.
• Техники на атака за извличане на системни промптове.
• Защита на системните инструкции и външната конфигурация.

Практическо упражнение: Проектиране на сигурна архитектура на агенти с подходящ контрол на достъпа и мониторинг.

Ден 2: Разширени заплахи и внедряване

Модул 5: Емерджънтни (напреднали) заплахи за AI (2 часа)

Обучителни цели:

• Разбиране на най-новите заплахи за сигурността на AI.
• Внедряване на разширени техники за откриване и предотвратяване.
• Проектиране на устойчиви AI системи срещу сложни атаки.

Обхванати теми:

LLM08: Слабости във векторите и вгражданията (Embedding)

• Уязвимости на системите RAG и сигурността на векторните бази данни.
• Отравяне на вгражданията и атаки за манипулиране на сходството.
• Аверзирални примери при семантичното търсене.
• Защита на векторните хранилища и внедряване на откриване на аномалии.

LLM09: Дезинформация и надеждност на модела

• Откриване и смекчаване на халюцинациите.
• Усилване на предразсъдъците и съображения за справедливост.
• Механизми за проверка на фактите и източниците.
• Валидиране на съдържанието и интеграция на човешкия надзор.

LLM10: Неограничено консумиране (Unbounded Consumption)

• Изчерпване на ресурсите и атаки тип „denial-of-service“.
• Стратегии за ограничаване на честотата и управление на ресурсите.
• Оптимизиране на разходите и контрол на бюджета.
• Системи за мониторинг на производителността и предупреждения.

Практическо упражнение: Изграждане на сигурен RAG пайплайн с защита на векторната база данни и откриване на халюцинации.

Модул 6: Сигурност на агенти AI (Agentic AI) (2 часа)

Обучителни цели:

• Разбиране на уникалните предизвикателства за сигурност на автономните AI агенти.
• Прилагане на таксономията за заплахи OWASP Agentic AI към реални системи.
• Внедряване на контролни мерки за сигурност в среди с множество агенти.

Обхванати теми:

• Въведение в Agentic AI и автономните системи.
• OWASP таксономия на заплахите за Agentic AI: Дизайн на агента, памет, планиране, използване на инструменти, внедряване.
• Рискове при сигурността и координацията на системи с множество агенти.
• Атаки с злоупотребяване с инструменти, отравяне на паметта и хакване на целите.
• Защита на комуникацията и процесите на вземане на решения на агента.

Практическо упражнение: Упражнение за моделиране на заплахи, използващо OWASP таксономията за Agentic AI върху система за клиентско обслужване с множество агенти.

Модул 7: Внедряване на OWASP Threat Defense COMPASS (2 часа)

Обучителни цели:

• Овладяване на практичното приложение на Threat Defense COMPASS.
• Интегриране на оценката на заплахи за AI в програмите за сигурност на организацията.
• Разработване на всеобхватни стратегии за управление на риска за AI.

Обхванати теми:

• Дълбоко потапяне в методологията Threat Defense COMPASS.
• Интегриране на цикъла OODA: Наблюдавай, ориентирай се, реши, действ.
• Картиране на заплахите към рамките MITRE ATT&CK и ATLAS.
• Изграждане на таблата за стратегията за устойчивост срещу заплахи за AI.
• Интегриране със съществуващи инструменти и процеси за сигурност.

Практическо упражнение: Пълна оценка на заплахи, използвайки COMPASS, върху сценарий за внедряване на Microsoft Copilot.

Модул 8: Практическо внедряване и най-добри практики (2.5 часа)

Обучителни цели:

• Проектиране на сигурни AI архитектури от основата.
• Внедряване на мониторинг и реагиране при инциденти за AI системи.
• Създаване на рамки за управление на сигурността на AI.

Обхванати теми:

Жизнен цикъл на разработката на сигурно AI:

• Принципи за сигурност при дизайна за AI приложения.
• Практики за преглед на кода за интеграции с LLM.
• Методологии за тестване и сканиране за уязвимости.
• Сигурност при внедряване и хardenе на производствената среда.

Мониторинг и откриване:

• Изисквания за логове и мониторинг, специфични за AI.
• Откриване на аномалии за AI системи.
• Процедури за реагиране при инциденти за събития в сферата на сигурността на AI.
• Техники за форензика и разследване.

Управление и съответствие:

• Рамки и политики за управление на риска за AI.
• Съображения за регулаторно съответствие (GDPR, AI Act и др.).
• Оценка на риска при трети страни за доставчиците на AI.
• Обучение за повишаване на осведомеността за сигурността за отборите по разработка на AI.

Практическо упражнение: Проектиране на пълна архитектура за сигурност за корпоративен AI чатбот, включваща мониторинг, управление и процедури за реагиране при инциденти.

Модул 9: Инструменти и технологии (1 час)

Обучителни цели:

• Оценка и внедряване на инструменти за сигурност на AI.
• Разбиране на настоящия пейзаж на решенията за сигурност на AI.
• Изграждане на практически капацитети за откриване и предотвратяване.

Обхванати теми:

• Екосистема и пейзаж на доставчиците на инструменти за сигурност на AI.
• Инструменти с отворен код за сигурност: Garak, PyRIT, Giskard.
• Комерсиални решения за сигурност и мониторинг на AI.
• Патерни за интеграция и стратегии за внедряване.
• Критерии за избор на инструменти и рамки за оценка.

Практическо упражнение: Практическа демонстрация на инструменти за тестване на сигурността на AI и планиране на внедряването.

Модул 10: Бъдещи тенденции и обобщение (1 час)

Обучителни цели:

• Разбиране на емерджънтните заплахи и бъдещите предизвикателства за сигурност.
• Разработване на стратегии за непрекъснато обучение и подобряване.
• Създаване на планове за действие за програмите по сигурност на AI в организацията.

Обхванати теми:

• Емерджънтни заплахи: Deepfakes, разширено впръскване на промпт, обръщане на модела (model inversion).
• Бъдещо развитие и пътната карта на проекта OWASP GenAI.
• Изграждане на общности за сигурност на AI и споделяне на знания.
• Непрекъснато подобрение и интегриране на разузнаването за заплахи.

Упражнение за планиране на действия: Разработване на план за действие за 90 дни за внедряване на практиките по сигурност на OWASP GenAI в организациите на участниците.