План на курса

Ден 1: Основи и основни угрози

Модул 1: Въведение в проекта OWASP GenAI Security (1 час)

Цели на обучението:

  • Разбирање на еволюцията от OWASP Top 10 до предизвикателства, специфични за сигурността на генеративната ИИ
  • Изучаване на экосистема и ресурси на проекта OWASP GenAI Security
  • Разграничаване на ключовите разлики между традиционната сигурност на приложенията и сигурността на ИИ

Теми, обхванати:

  • Обзор на мисията и обхвата на проекта OWASP GenAI Security
  • Въведение в методологията Threat Defense COMPASS
  • Разбиране на ландшафта на сигурността на ИИ и регулаторните изисквания
  • Угрози за атаки върху повърхности с ИИ спрямо уязвимостите на традиционни уеб приложения

Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на угрози

Модул 2: OWASP Top 10 за LLMs - част 1 (2.5 часа)

Цели на обучението:

  • Освояване на първите пет критични уязвимости на LLM
  • Разбирање на атаки и техники за експлоитация
  • Применение на практически стратегии за премахване на уязвимости

Теми, обхванати:

LLM01: Инжекция на подсказки

  • Техники за директна и непряката инжекция на подсказки
  • Атаки с скрити команди и кръстосано загъстосяване на подсказки
  • Практични примери: Освобождаване от ограничения на чатботи и обикновявање на защитните мерки
  • Стратегии за защита: Санитизация на вход, филтриране на подсказки, диференциална приватност

LLM02: Разкриване на чувствителна информация

  • Извлечение на данни от обучението и разкриване на системни подсказки
  • Анализ на поведение на моделите за разкриване на чувствителна информация
  • Импликации за поверителността и съответствие с регулаторни изисквания
  • Премахване: Филтриране на изход, контроли за достъп, анонимизиране на данни

LLM03: Уязвимости в ланцетите на снабдяване

  • Зависимост от трети страни модели и сигурност на плъгини
  • Компрометирани набори данни за обучение и отравяне на модели
  • Оценка на рисковете при избора на постачалци за ИИ компонентите
  • Практични практики за сигурно разграждане и верификация на модели

Практическо упражнение: Практика с инжекции на подсказки против уязвими приложения LLM и внедряване на защитни мерки

Модул 3: OWASP Top 10 за LLMs - част 2 (2 часа)

Теми, обхванати:

LLM04: Отравяне на данни и модела

  • Техники за манипулация на данни за обучение
  • Модифициране на поведението на модела чрез отравяни входни данни
  • Атаки с бъчвор и валидация на целостта на данните
  • Превенция: Пайплайни за валидация на данни, проследяване на происходството

LLM05: Неправилно обработване на изходите

  • Несигурна обработка на съдържанието, генерирано от LLM
  • Експлоитация чрез AI-генерирах код
  • Кръстосан скрипинг чрез отговори на ИИ
  • Фреймворки за валидация и санитизация на изходите

Практическо упражнение: Симулиране на атаки с отравяне на данни и внедряване на робустни механизми за валидация на изходите

Модул 4: Напредъкната угроза LLM (1.5 часа)

Теми, обхванати:

LLM06: Изтощен агент

  • Рискове от автономно взимане на решения и нарушаване на граници
  • Управление на авторитета и разрешенията на агента
  • Непредвидени взаимодействия с системите и повишаване на привилегии
  • Въведени градини и контроли за хуман оверсигт

LLM07: Разкриване на системни подсказки

  • Уязвимостите при разкриването на инструкции за система
  • Разкриване на креденциали и логика чрез подсказки
  • Техники за атаки, извличащи системни подсказки
  • Запазване на инструкции и външно конфигуриране

Практическо упражнение: Проектиране на сигурни архитектури за агенти със съответни контроли за достъп и мониторинг

Ден 2: Напредъкнати угрози и реализация

Модул 5: Извънредни угрози на ИИ (2 часа)

Цели на обучението:

  • Разбирање на най-новите угрози за сигурността на ИИ
  • Въведени разпознаване и превенция чрез напредъкнати техники
  • Проектиране на резилентни системи с ИИ, устойчиви към сложни атаки

Теми, обхванати:

LLM08: Уязвимост на векторите и ембедингите

  • Уязвимостите на системи RAG и сигурността на базата с вектори
  • Отравяне на ембедингите и атаки за манипулиране на подобия
  • Адверзарни примери в семантичните търсения
  • Запазване на бази с вектори и внедряване на детектори за аномалии

LLM09: Лъжа и надеждност на модела

  • Разпознаване и премахване на халюцинациите
  • Усилване на предразсъдиците и разглеждане на справедливостта
  • Механизми за проверка на факти и верифициране на източници
  • Валидация на съдържание и интеграция на хуман оверсигт

LLM10: Неограничено използване

  • Изтощение на ресурсите и атаки с отрицаване на обслужване
  • Стратегии за ограничение на скоростта и управление на ресурси
  • Оптимизация на разходите и контроли за бюджета
  • Мониторинг на производителността и системи за издаване на аларми

Практическо упражнение: Създаване на сигурен RAG пайлайн с защита на базата с вектори и разпознаване на халюцинациите

Модул 6: Безопасност на агентски ИИ (2 часа)

Цели на обучението:

  • Разбирање на уникалните предизвикателства за сигурността на автономни агенти с ИИ
  • Применение на таксономията OWASP Agentic AI в реални системи
  • Въведени контроли за сигурност в околната среда с много агенти

Теми, обхванати:

  • Въведени в агентската ИИ и автономните системи
  • Таксономия на угрози OWASP Agentic AI: Проектиране на агента, памет, планироване, използване на инструменти, разграждане
  • Безопасност и рискове при координацията в системи с много агенти
  • Използване на инструменти, отравяне на паметта и атаки с хищане на цели
  • Запазване на комуникацията и процесите за взимане на решения между агентите

Практическо упражнение: Упражнение за моделиране на угрози, използвайки таксономията OWASP Agentic AI в системата за клиентско обслужване с много агенти

Модул 7: Въведени Threat Defense COMPASS (2 часа)

Цели на обучението:

  • Освояване на практически приложения на Threat Defense COMPASS
  • Интегриране на оценка на угрози за ИИ в програмите за сигурност на организацията
  • Разработване на всестранни стратегии за управление на рисковете при ИИ

Теми, обхванати:

  • Дълбоко погружение в методологията Threat Defense COMPASS
  • Интегриране на OODA Loop: Наблюдение, Ориентиране, Решаване, Действие
  • Мапинг на угрозите към рамките MITRE ATT&CK и ATLAS
  • Създаване на дъшбордове за стратегия на устойчивост към угрози на ИИ
  • Интеграция с съществуващи инструменти и процеси за сигурност

Практическо упражнение: Пълна оценка на угрозите, използвайки COMPASS за сценарий с Microsoft Copilot

Модул 8: Практическа реализация и най-добрите практики (2.5 часа)

Цели на обучението:

  • Проектиране на сигурни архитектури за ИИ от началото
  • Въведени мониторинг и реакция при инциденти за системите с ИИ
  • Създаване на рамки за управление на ИИ

Теми, обхванати:

Сигурна разработка на ИИ:

  • Принципи за проектиране със сигурност при приложенията с ИИ
  • Практики за ревизия на кода при интеграцията с LLM
  • Методологии за тестове и сканиране на уязвимости
  • Сигурност при разграждане и твърде изтегляне в производство

Мониторинг и детекция:

  • Специфични изисквания за логване и мониторинг на системите с ИИ
  • Детекция на аномалии за системите с ИИ
  • Процедури при реакция на инциденти, свързани с сигурността на ИИ
  • Техники за следствене и разследване

Управление и съответствие:

  • Рамки за управление на рисковете при ИИ и политики
  • Съответствие с регулаторни изисквания (GDPR, AI Act и др.)
  • Оценка на рисковете при трети страни за ИИ постачалци
  • Обучение за осведоменост относно сигурността за екипите, развиващи ИИ

Практическо упражнение: Проектиране на пълна архитектура за сигурност в предприемачка система с ИИ чатбот, включително мониторинг, управление и процедури при инциденти

Модул 9: Инструменти и технологии (1 час)

Цели на обучението:

  • Оценка и внедряване на инструменти за сигурност на ИИ
  • Разбирање на ландшафта с решения за сигурност на ИИ
  • Създаване на практични способности за разпознаване и превенция

Теми, обхванати:

  • Екосистема на инструментите и ландшафта с постачалци за сигурност на ИИ
  • Отворени системи за сигурност: Garak, PyRIT, Giskard
  • Комерсиални решения за сигурност и мониторинг на ИИ
  • Патерни за интеграция и стратегии за разграждане
  • Критерии за избор на инструменти и рамки за оценка

Практическо упражнение: Демонстрация с инструменти за тестирания на сигурността на ИИ и планиране на реализация

Модул 10: Бъдещи тенденции и завършване (1 час)

Цели на обучението:

  • Разбирање на извънредните угрози и бъдещите предизвикателства за сигурност
  • Развиване на стратегии за непрекъснато обучение и подобрения
  • Създаване на планове за действие за програмите за сигурност на ИИ в организацията

Теми, обхванати:

  • Извънредни угрози: Дипфейки, напредъкнати инекции на подсказки, инверсия на модела
  • Бъдещите развития и дорожна карта на проекта OWASP GenAI
  • Създаване на общности за сигурност на ИИ и споделяне на знания
  • Непрекъснато подобрение и интеграция с информацията за угрози

Упражнение за разработване на план: Разработване на 90-денен план за действие за имплементация на практики на OWASP GenAI Security в организацията на участниците

Изисквания

  • Обща убеденост в принципите на сигурността на уеб приложенията
  • Основна запознаност с концепции на ИИ/ML
  • Опит с рамки за сигурност или методологии за оценка на рискове е желателен

Целева група

  • Специалисти по кибербезопасност
  • Развители на ИИ
  • Архитекти на системи
  • Офицери за съответствие
  • Специалисти по сигурност
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории