Съдържание и теми, включени в курса
Ден 1: Основи и основни заплахи
Модул 1: Въведение в проекта OWASP GenAI Security (1 час)
Учебни цели:
- Разбиране на еволюцията от OWASP Топ 10 до специфични за GenAI предизвикателства в сигурността
- Запознаване с екосистемата и ресурсите на проекта OWASP GenAI Security
- Идентифициране на ключовите разлики между традиционната сигурност на приложения и сигурността на AI
Разгледани теми:
- Преглед на мисията и обхвата на проекта OWASP GenAI Security
- Въведение в рамката Threat Defense COMPASS
- Разбиране на ландшафта на сигурността на AI и регулаторните изисквания
- Повърхности за атака на AI срещу традиционни уязвимости на уеб приложения
Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на заплахите
Модул 2: OWASP Топ 10 за LLM - Част 1 (2.5 часа)
Учебни цели:
- Овладяване на първите пет критични уязвимости на LLM
- Разбиране на векторите за атака и техниките за експлоатация
- Прилагане на практически стратегии за неутрализиране
Разгледани теми:
LLM01: Инжектиране на промптове
- Техники за директно и индиректно инжектиране на промптове
- Атаки със скрити инструкции и кръстосано замърсяване на промптове
- Практически примери: Разбиване на чатботове и заобикаляне на мерки за безопасност
- Стратегии за защита: Почистване на входни данни, филтриране на промптове, диференциална поверителност
LLM02: Разкриване на чувствителна информация
- Извличане на тренировъчни данни и изтичане на системни промптове
- Анализ на поведението на модела за излагане на чувствителна информация
- Последици за поверителността и съображения за регулаторно съответствие
- Неутрализиране: Филтриране на изходни данни, контрол на достъпа, анонимизиране на данни
LLM03: Уязвимости във веригата на доставки
- Зависимости от модели на трети страни и сигурност на плъгини
- Компрометирани набори от тренировъчни данни и отравяне на модели
- Оценка на риска от доставчици за AI компоненти
- Практики за сигурно внедряване и проверка на модели
Практическо упражнение: Практическа лаборатория, демонстрираща атаки с инжектиране на промптове срещу уязвими LLM приложения и внедряване на защитни мерки
Модул 3: OWASP Топ 10 за LLM - Част 2 (2 часа)
Разгледани теми:
LLM04: Отравяне на данни и модели
- Техники за манипулиране на тренировъчни данни
- Промяна на поведението на модела чрез отровени входни данни
- Атаки тип "задна врата" и проверка на целостта на данните
- Предотвратяване: Конвейери за валидиране на данни, проследяване на произхода
LLM05: Неправилно обработване на изходни данни
- Несигурна обработка на съдържание, генерирано от LLM
- Инжектиране на код чрез генерирани от AI изходни данни
- Междусайтово скриптиране чрез отговори на AI
- Рамки за валидиране и почистване на изходни данни
Практическо упражнение: Симулиране на атаки за отравяне на данни и внедряване на стабилни механизми за валидиране на изходни данни
Модул 4: Разширени LLM заплахи (1.5 часа)
Разгледани теми:
LLM06: Прекомерна автономност
- Рискове от автономно вземане на решения и нарушения на границите
- Управление на правомощията и разрешенията на агента
- Непредвидени системни взаимодействия и ескалация на привилегии
- Внедряване на предпазни механизми и контрол с човешка намеса
LLM07: Изтичане на системни промптове
- Уязвимости при излагане на системни инструкции
- Разкриване на идентификационни данни и логика чрез промптове
- Техники за атака за извличане на системни промптове
- Осигуряване на системни инструкции и външна конфигурация
Практическо упражнение: Проектиране на сигурни архитектури на агенти с подходящ контрол на достъпа и мониторинг
Ден 2: Разширени заплахи и внедряване
Модул 5: Възникващи AI заплахи (2 часа)
Учебни цели:
- Разбиране на авангардни заплахи за сигурността на AI
- Внедряване на усъвършенствани техники за откриване и предотвратяване
- Проектиране на устойчиви AI системи срещу сложни атаки
Разгледани теми:
LLM08: Слабости на вектори и ембединги
- Уязвимости на RAG системи и сигурност на векторни бази данни
- Отравяне на ембединги и атаки за манипулиране на сходство
- Състезателни примери в семантичното търсене
- Осигуряване на сигурност на векторни хранилища и внедряване на откриване на аномалии
LLM09: Дезинформация и надеждност на модела
- Откриване и неутрализиране на халюцинации
- Усилване на пристрастия и съображения за справедливост
- Механизми за проверка на факти и източници
- Валидиране на съдържание и интегриране на човешки надзор
LLM10: Неограничена консумация
- Изчерпване на ресурси и атаки за отказ на услуга
- Стратегии за ограничаване на скоростта и управление на ресурси
- Оптимизация на разходите и бюджетен контрол
- Системи за мониторинг на производителността и предупреждения
Практическо упражнение: Изграждане на сигурен RAG конвейер със защита на векторна база данни и откриване на халюцинации
Модул 6: Сигурност на агентен AI (2 часа)
Учебни цели:
- Разбиране на уникалните предизвикателства за сигурността на автономни AI агенти
- Прилагане на таксономията OWASP Agentic AI към системи от реалния свят
- Внедряване на контроли за сигурност за мулти-агентни среди
Разгледани теми:
- Въведение в агентен AI и автономни системи
- Таксономия на заплахите OWASP Agentic AI: Дизайн на агент, Памет, Планиране, Използване на инструменти, Внедряване
- Сигурност на мулти-агентни системи и рискове при координация
- Злоупотреба с инструменти, отравяне на памет и атаки за отвличане на цели
- Осигуряване на сигурност на комуникацията на агенти и процесите на вземане на решения
Практическо упражнение: Упражнение за моделиране на заплахи с помощта на таксономията OWASP Agentic AI върху мулти-агентна система за обслужване на клиенти
Модул 7: Внедряване на OWASP Threat Defense COMPASS (2 часа)
Учебни цели:
- Овладяване на практическото приложение на Threat Defense COMPASS
- Интегриране на оценката на AI заплахи в организационните програми за сигурност
- Разработване на цялостни стратегии за управление на AI риска
Разгледани теми:
- Задълбочено разглеждане на методологията Threat Defense COMPASS
- Интегриране на цикъла OODA: Наблюдавай, Ориентирай, Реши, Действай (Observe, Orient, Decide, Act)
- Картографиране на заплахи към рамките MITRE ATT&CK и ATLAS
- Изграждане на табла за стратегия за устойчивост на AI заплахи
- Интеграция със съществуващи инструменти и процеси за сигурност
Практическо упражнение: Пълна оценка на заплахи с помощта на COMPASS за сценарий на внедряване на Microsoft Copilot
Модул 8: Практическо внедряване и найдобри практики (2.5 часа)
Учебни цели:
- Проектиране на сигурни AI архитектури от самото начало
- Внедряване на мониторинг и реагиране при инциденти за AI системи
- Създаване на рамки за управление за сигурност на AI
Разгледани теми:
Жизнен цикъл на сигурна AI разработка:
- Принципи на сигурност чрез дизайн за AI приложения
- Практики за преглед на код за LLM интеграции
- Методологии за тестване и сканиране на уязвимости
- Сигурност на внедряване и укрепване в продукционна среда
Мониторинг и откриване:
- Специфични изисквания за логване и мониторинг на AI
- Откриване на аномалии за AI системи
- Процедури за реагиране при инциденти, свързани със сигурността на AI
- Техники за разследване и криминалистика
Управление и съответствие:
- Рамки и политики за управление на AI риска
- Съображения за регулаторно съответствие (GDPR, Акт за AI и др.)
- Оценка на риска от трети страни за AI доставчици
- Обучение за осведоменост по сигурността за AI развойни екипи
Практическо упражнение: Проектиране на цялостна архитектура за сигурност за корпоративен AI чатбот, включваща процедури за мониторинг, управление и реагиране при инциденти
Модул 9: Инструменти и технологии (1 час)
Учебни цели:
- Оценка и внедряване на инструменти за сигурност на AI
- Разбиране на текущия ландшафт на решения за сигурност на AI
- Изграждане на практически способности за откриване и предотвратяване
Разгледани теми:
- Екосистема от инструменти за сигурност на AI и доставчици
- Инструменти за сигурност с отворен код: Garak, PyRIT, Giskard
- Търговски решения за сигурност и мониторинг на AI
- Модели на интеграция и стратегии за внедряване
- Критерии за избор на инструменти и рамки за оценка
Практическо упражнение: Практическа демонстрация на инструменти за тестване на сигурността на AI и планиране на внедряване
Модул 10: Бъдещи тенденции и заключение (1 час)
Учебни цели:
- Разбиране на възникващи заплахи и бъдещи предизвикателства в сигурността
- Разработване на стратегии за непрекъснато обучение и усъвършенстване
- Създаване на планове за действие за организационни програми за сигурност на AI
Разгледани теми:
- Възникващи заплахи: Дийпфейкове, усъвършенствано инжектиране на промптове, обръщане на модели
- Бъдещи разработки на проекта OWASP GenAI и пътна карта
- Изграждане на общности за сигурност на AI и споделяне на знания
- Непрекъснато усъвършенстване и интеграция на разузнаване за заплахи
Упражнение за планиране на действия: Разработване на 90-дневен план за действие за внедряване на практики за сигурност на OWASP GenAI в организациите на участниците
Изисквания
- Общо разбиране на принципите за сигурност на уеб приложения
- Основна запознатост с концепции за AI/ML
- Опит с рамки за сигурност или методологии за оценка на риска е предимство
Аудитория
- Професионалисти по киберсигурност
- AI разработчици
- Системни архитекти
- Служители по съответствие
- Практикуващи в сферата на сигурността
Отзиви от участници (1)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод