Свържете се с нас

Съдържание и теми, включени в курса

Ден 1: Основи и основни заплахи

Модул 1: Въведение в проекта OWASP GenAI Security (1 час)

Учебни цели:

  • Разбиране на еволюцията от OWASP Топ 10 до специфични за GenAI предизвикателства в сигурността
  • Запознаване с екосистемата и ресурсите на проекта OWASP GenAI Security
  • Идентифициране на ключовите разлики между традиционната сигурност на приложения и сигурността на AI

Разгледани теми:

  • Преглед на мисията и обхвата на проекта OWASP GenAI Security
  • Въведение в рамката Threat Defense COMPASS
  • Разбиране на ландшафта на сигурността на AI и регулаторните изисквания
  • Повърхности за атака на AI срещу традиционни уязвимости на уеб приложения

Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на заплахите

Модул 2: OWASP Топ 10 за LLM - Част 1 (2.5 часа)

Учебни цели:

  • Овладяване на първите пет критични уязвимости на LLM
  • Разбиране на векторите за атака и техниките за експлоатация
  • Прилагане на практически стратегии за неутрализиране

Разгледани теми:

LLM01: Инжектиране на промптове

  • Техники за директно и индиректно инжектиране на промптове
  • Атаки със скрити инструкции и кръстосано замърсяване на промптове
  • Практически примери: Разбиване на чатботове и заобикаляне на мерки за безопасност
  • Стратегии за защита: Почистване на входни данни, филтриране на промптове, диференциална поверителност

LLM02: Разкриване на чувствителна информация

  • Извличане на тренировъчни данни и изтичане на системни промптове
  • Анализ на поведението на модела за излагане на чувствителна информация
  • Последици за поверителността и съображения за регулаторно съответствие
  • Неутрализиране: Филтриране на изходни данни, контрол на достъпа, анонимизиране на данни

LLM03: Уязвимости във веригата на доставки

  • Зависимости от модели на трети страни и сигурност на плъгини
  • Компрометирани набори от тренировъчни данни и отравяне на модели
  • Оценка на риска от доставчици за AI компоненти
  • Практики за сигурно внедряване и проверка на модели

Практическо упражнение: Практическа лаборатория, демонстрираща атаки с инжектиране на промптове срещу уязвими LLM приложения и внедряване на защитни мерки

Модул 3: OWASP Топ 10 за LLM - Част 2 (2 часа)

Разгледани теми:

LLM04: Отравяне на данни и модели

  • Техники за манипулиране на тренировъчни данни
  • Промяна на поведението на модела чрез отровени входни данни
  • Атаки тип "задна врата" и проверка на целостта на данните
  • Предотвратяване: Конвейери за валидиране на данни, проследяване на произхода

LLM05: Неправилно обработване на изходни данни

  • Несигурна обработка на съдържание, генерирано от LLM
  • Инжектиране на код чрез генерирани от AI изходни данни
  • Междусайтово скриптиране чрез отговори на AI
  • Рамки за валидиране и почистване на изходни данни

Практическо упражнение: Симулиране на атаки за отравяне на данни и внедряване на стабилни механизми за валидиране на изходни данни

Модул 4: Разширени LLM заплахи (1.5 часа)

Разгледани теми:

LLM06: Прекомерна автономност

  • Рискове от автономно вземане на решения и нарушения на границите
  • Управление на правомощията и разрешенията на агента
  • Непредвидени системни взаимодействия и ескалация на привилегии
  • Внедряване на предпазни механизми и контрол с човешка намеса

LLM07: Изтичане на системни промптове

  • Уязвимости при излагане на системни инструкции
  • Разкриване на идентификационни данни и логика чрез промптове
  • Техники за атака за извличане на системни промптове
  • Осигуряване на системни инструкции и външна конфигурация

Практическо упражнение: Проектиране на сигурни архитектури на агенти с подходящ контрол на достъпа и мониторинг

Ден 2: Разширени заплахи и внедряване

Модул 5: Възникващи AI заплахи (2 часа)

Учебни цели:

  • Разбиране на авангардни заплахи за сигурността на AI
  • Внедряване на усъвършенствани техники за откриване и предотвратяване
  • Проектиране на устойчиви AI системи срещу сложни атаки

Разгледани теми:

LLM08: Слабости на вектори и ембединги

  • Уязвимости на RAG системи и сигурност на векторни бази данни
  • Отравяне на ембединги и атаки за манипулиране на сходство
  • Състезателни примери в семантичното търсене
  • Осигуряване на сигурност на векторни хранилища и внедряване на откриване на аномалии

LLM09: Дезинформация и надеждност на модела

  • Откриване и неутрализиране на халюцинации
  • Усилване на пристрастия и съображения за справедливост
  • Механизми за проверка на факти и източници
  • Валидиране на съдържание и интегриране на човешки надзор

LLM10: Неограничена консумация

  • Изчерпване на ресурси и атаки за отказ на услуга
  • Стратегии за ограничаване на скоростта и управление на ресурси
  • Оптимизация на разходите и бюджетен контрол
  • Системи за мониторинг на производителността и предупреждения

Практическо упражнение: Изграждане на сигурен RAG конвейер със защита на векторна база данни и откриване на халюцинации

Модул 6: Сигурност на агентен AI (2 часа)

Учебни цели:

  • Разбиране на уникалните предизвикателства за сигурността на автономни AI агенти
  • Прилагане на таксономията OWASP Agentic AI към системи от реалния свят
  • Внедряване на контроли за сигурност за мулти-агентни среди

Разгледани теми:

  • Въведение в агентен AI и автономни системи
  • Таксономия на заплахите OWASP Agentic AI: Дизайн на агент, Памет, Планиране, Използване на инструменти, Внедряване
  • Сигурност на мулти-агентни системи и рискове при координация
  • Злоупотреба с инструменти, отравяне на памет и атаки за отвличане на цели
  • Осигуряване на сигурност на комуникацията на агенти и процесите на вземане на решения

Практическо упражнение: Упражнение за моделиране на заплахи с помощта на таксономията OWASP Agentic AI върху мулти-агентна система за обслужване на клиенти

Модул 7: Внедряване на OWASP Threat Defense COMPASS (2 часа)

Учебни цели:

  • Овладяване на практическото приложение на Threat Defense COMPASS
  • Интегриране на оценката на AI заплахи в организационните програми за сигурност
  • Разработване на цялостни стратегии за управление на AI риска

Разгледани теми:

  • Задълбочено разглеждане на методологията Threat Defense COMPASS
  • Интегриране на цикъла OODA: Наблюдавай, Ориентирай, Реши, Действай (Observe, Orient, Decide, Act)
  • Картографиране на заплахи към рамките MITRE ATT&CK и ATLAS
  • Изграждане на табла за стратегия за устойчивост на AI заплахи
  • Интеграция със съществуващи инструменти и процеси за сигурност

Практическо упражнение: Пълна оценка на заплахи с помощта на COMPASS за сценарий на внедряване на Microsoft Copilot

Модул 8: Практическо внедряване и найдобри практики (2.5 часа)

Учебни цели:

  • Проектиране на сигурни AI архитектури от самото начало
  • Внедряване на мониторинг и реагиране при инциденти за AI системи
  • Създаване на рамки за управление за сигурност на AI

Разгледани теми:

Жизнен цикъл на сигурна AI разработка:

  • Принципи на сигурност чрез дизайн за AI приложения
  • Практики за преглед на код за LLM интеграции
  • Методологии за тестване и сканиране на уязвимости
  • Сигурност на внедряване и укрепване в продукционна среда

Мониторинг и откриване:

  • Специфични изисквания за логване и мониторинг на AI
  • Откриване на аномалии за AI системи
  • Процедури за реагиране при инциденти, свързани със сигурността на AI
  • Техники за разследване и криминалистика

Управление и съответствие:

  • Рамки и политики за управление на AI риска
  • Съображения за регулаторно съответствие (GDPR, Акт за AI и др.)
  • Оценка на риска от трети страни за AI доставчици
  • Обучение за осведоменост по сигурността за AI развойни екипи

Практическо упражнение: Проектиране на цялостна архитектура за сигурност за корпоративен AI чатбот, включваща процедури за мониторинг, управление и реагиране при инциденти

Модул 9: Инструменти и технологии (1 час)

Учебни цели:

  • Оценка и внедряване на инструменти за сигурност на AI
  • Разбиране на текущия ландшафт на решения за сигурност на AI
  • Изграждане на практически способности за откриване и предотвратяване

Разгледани теми:

  • Екосистема от инструменти за сигурност на AI и доставчици
  • Инструменти за сигурност с отворен код: Garak, PyRIT, Giskard
  • Търговски решения за сигурност и мониторинг на AI
  • Модели на интеграция и стратегии за внедряване
  • Критерии за избор на инструменти и рамки за оценка

Практическо упражнение: Практическа демонстрация на инструменти за тестване на сигурността на AI и планиране на внедряване

Модул 10: Бъдещи тенденции и заключение (1 час)

Учебни цели:

  • Разбиране на възникващи заплахи и бъдещи предизвикателства в сигурността
  • Разработване на стратегии за непрекъснато обучение и усъвършенстване
  • Създаване на планове за действие за организационни програми за сигурност на AI

Разгледани теми:

  • Възникващи заплахи: Дийпфейкове, усъвършенствано инжектиране на промптове, обръщане на модели
  • Бъдещи разработки на проекта OWASP GenAI и пътна карта
  • Изграждане на общности за сигурност на AI и споделяне на знания
  • Непрекъснато усъвършенстване и интеграция на разузнаване за заплахи

Упражнение за планиране на действия: Разработване на 90-дневен план за действие за внедряване на практики за сигурност на OWASP GenAI в организациите на участниците

Изисквания

  • Общо разбиране на принципите за сигурност на уеб приложения
  • Основна запознатост с концепции за AI/ML
  • Опит с рамки за сигурност или методологии за оценка на риска е предимство

Аудитория

  • Професионалисти по киберсигурност
  • AI разработчици
  • Системни архитекти
  • Служители по съответствие
  • Практикуващи в сферата на сигурността
 14 Часа

Брой участници


Цена за участник

Отзиви от участници (1)

Предстоящи Курсове

Свързани Kатегории