План на курса
Ден 1: Основи и основни угрози
Модул 1: Въведение в проекта OWASP GenAI Security (1 час)
Цели на обучението:
- Разбирање на еволюцията от OWASP Top 10 до предизвикателства, специфични за сигурността на генеративната ИИ
- Изучаване на экосистема и ресурси на проекта OWASP GenAI Security
- Разграничаване на ключовите разлики между традиционната сигурност на приложенията и сигурността на ИИ
Теми, обхванати:
- Обзор на мисията и обхвата на проекта OWASP GenAI Security
- Въведение в методологията Threat Defense COMPASS
- Разбиране на ландшафта на сигурността на ИИ и регулаторните изисквания
- Угрози за атаки върху повърхности с ИИ спрямо уязвимостите на традиционни уеб приложения
Практическо упражнение: Настройка на инструмента OWASP Threat Defense COMPASS и извършване на първоначална оценка на угрози
Модул 2: OWASP Top 10 за LLMs - част 1 (2.5 часа)
Цели на обучението:
- Освояване на първите пет критични уязвимости на LLM
- Разбирање на атаки и техники за експлоитация
- Применение на практически стратегии за премахване на уязвимости
Теми, обхванати:
LLM01: Инжекция на подсказки
- Техники за директна и непряката инжекция на подсказки
- Атаки с скрити команди и кръстосано загъстосяване на подсказки
- Практични примери: Освобождаване от ограничения на чатботи и обикновявање на защитните мерки
- Стратегии за защита: Санитизация на вход, филтриране на подсказки, диференциална приватност
LLM02: Разкриване на чувствителна информация
- Извлечение на данни от обучението и разкриване на системни подсказки
- Анализ на поведение на моделите за разкриване на чувствителна информация
- Импликации за поверителността и съответствие с регулаторни изисквания
- Премахване: Филтриране на изход, контроли за достъп, анонимизиране на данни
LLM03: Уязвимости в ланцетите на снабдяване
- Зависимост от трети страни модели и сигурност на плъгини
- Компрометирани набори данни за обучение и отравяне на модели
- Оценка на рисковете при избора на постачалци за ИИ компонентите
- Практични практики за сигурно разграждане и верификация на модели
Практическо упражнение: Практика с инжекции на подсказки против уязвими приложения LLM и внедряване на защитни мерки
Модул 3: OWASP Top 10 за LLMs - част 2 (2 часа)
Теми, обхванати:
LLM04: Отравяне на данни и модела
- Техники за манипулация на данни за обучение
- Модифициране на поведението на модела чрез отравяни входни данни
- Атаки с бъчвор и валидация на целостта на данните
- Превенция: Пайплайни за валидация на данни, проследяване на происходството
LLM05: Неправилно обработване на изходите
- Несигурна обработка на съдържанието, генерирано от LLM
- Експлоитация чрез AI-генерирах код
- Кръстосан скрипинг чрез отговори на ИИ
- Фреймворки за валидация и санитизация на изходите
Практическо упражнение: Симулиране на атаки с отравяне на данни и внедряване на робустни механизми за валидация на изходите
Модул 4: Напредъкната угроза LLM (1.5 часа)
Теми, обхванати:
LLM06: Изтощен агент
- Рискове от автономно взимане на решения и нарушаване на граници
- Управление на авторитета и разрешенията на агента
- Непредвидени взаимодействия с системите и повишаване на привилегии
- Въведени градини и контроли за хуман оверсигт
LLM07: Разкриване на системни подсказки
- Уязвимостите при разкриването на инструкции за система
- Разкриване на креденциали и логика чрез подсказки
- Техники за атаки, извличащи системни подсказки
- Запазване на инструкции и външно конфигуриране
Практическо упражнение: Проектиране на сигурни архитектури за агенти със съответни контроли за достъп и мониторинг
Ден 2: Напредъкнати угрози и реализация
Модул 5: Извънредни угрози на ИИ (2 часа)
Цели на обучението:
- Разбирање на най-новите угрози за сигурността на ИИ
- Въведени разпознаване и превенция чрез напредъкнати техники
- Проектиране на резилентни системи с ИИ, устойчиви към сложни атаки
Теми, обхванати:
LLM08: Уязвимост на векторите и ембедингите
- Уязвимостите на системи RAG и сигурността на базата с вектори
- Отравяне на ембедингите и атаки за манипулиране на подобия
- Адверзарни примери в семантичните търсения
- Запазване на бази с вектори и внедряване на детектори за аномалии
LLM09: Лъжа и надеждност на модела
- Разпознаване и премахване на халюцинациите
- Усилване на предразсъдиците и разглеждане на справедливостта
- Механизми за проверка на факти и верифициране на източници
- Валидация на съдържание и интеграция на хуман оверсигт
LLM10: Неограничено използване
- Изтощение на ресурсите и атаки с отрицаване на обслужване
- Стратегии за ограничение на скоростта и управление на ресурси
- Оптимизация на разходите и контроли за бюджета
- Мониторинг на производителността и системи за издаване на аларми
Практическо упражнение: Създаване на сигурен RAG пайлайн с защита на базата с вектори и разпознаване на халюцинациите
Модул 6: Безопасност на агентски ИИ (2 часа)
Цели на обучението:
- Разбирање на уникалните предизвикателства за сигурността на автономни агенти с ИИ
- Применение на таксономията OWASP Agentic AI в реални системи
- Въведени контроли за сигурност в околната среда с много агенти
Теми, обхванати:
- Въведени в агентската ИИ и автономните системи
- Таксономия на угрози OWASP Agentic AI: Проектиране на агента, памет, планироване, използване на инструменти, разграждане
- Безопасност и рискове при координацията в системи с много агенти
- Използване на инструменти, отравяне на паметта и атаки с хищане на цели
- Запазване на комуникацията и процесите за взимане на решения между агентите
Практическо упражнение: Упражнение за моделиране на угрози, използвайки таксономията OWASP Agentic AI в системата за клиентско обслужване с много агенти
Модул 7: Въведени Threat Defense COMPASS (2 часа)
Цели на обучението:
- Освояване на практически приложения на Threat Defense COMPASS
- Интегриране на оценка на угрози за ИИ в програмите за сигурност на организацията
- Разработване на всестранни стратегии за управление на рисковете при ИИ
Теми, обхванати:
- Дълбоко погружение в методологията Threat Defense COMPASS
- Интегриране на OODA Loop: Наблюдение, Ориентиране, Решаване, Действие
- Мапинг на угрозите към рамките MITRE ATT&CK и ATLAS
- Създаване на дъшбордове за стратегия на устойчивост към угрози на ИИ
- Интеграция с съществуващи инструменти и процеси за сигурност
Практическо упражнение: Пълна оценка на угрозите, използвайки COMPASS за сценарий с Microsoft Copilot
Модул 8: Практическа реализация и най-добрите практики (2.5 часа)
Цели на обучението:
- Проектиране на сигурни архитектури за ИИ от началото
- Въведени мониторинг и реакция при инциденти за системите с ИИ
- Създаване на рамки за управление на ИИ
Теми, обхванати:
Сигурна разработка на ИИ:
- Принципи за проектиране със сигурност при приложенията с ИИ
- Практики за ревизия на кода при интеграцията с LLM
- Методологии за тестове и сканиране на уязвимости
- Сигурност при разграждане и твърде изтегляне в производство
Мониторинг и детекция:
- Специфични изисквания за логване и мониторинг на системите с ИИ
- Детекция на аномалии за системите с ИИ
- Процедури при реакция на инциденти, свързани с сигурността на ИИ
- Техники за следствене и разследване
Управление и съответствие:
- Рамки за управление на рисковете при ИИ и политики
- Съответствие с регулаторни изисквания (GDPR, AI Act и др.)
- Оценка на рисковете при трети страни за ИИ постачалци
- Обучение за осведоменост относно сигурността за екипите, развиващи ИИ
Практическо упражнение: Проектиране на пълна архитектура за сигурност в предприемачка система с ИИ чатбот, включително мониторинг, управление и процедури при инциденти
Модул 9: Инструменти и технологии (1 час)
Цели на обучението:
- Оценка и внедряване на инструменти за сигурност на ИИ
- Разбирање на ландшафта с решения за сигурност на ИИ
- Създаване на практични способности за разпознаване и превенция
Теми, обхванати:
- Екосистема на инструментите и ландшафта с постачалци за сигурност на ИИ
- Отворени системи за сигурност: Garak, PyRIT, Giskard
- Комерсиални решения за сигурност и мониторинг на ИИ
- Патерни за интеграция и стратегии за разграждане
- Критерии за избор на инструменти и рамки за оценка
Практическо упражнение: Демонстрация с инструменти за тестирания на сигурността на ИИ и планиране на реализация
Модул 10: Бъдещи тенденции и завършване (1 час)
Цели на обучението:
- Разбирање на извънредните угрози и бъдещите предизвикателства за сигурност
- Развиване на стратегии за непрекъснато обучение и подобрения
- Създаване на планове за действие за програмите за сигурност на ИИ в организацията
Теми, обхванати:
- Извънредни угрози: Дипфейки, напредъкнати инекции на подсказки, инверсия на модела
- Бъдещите развития и дорожна карта на проекта OWASP GenAI
- Създаване на общности за сигурност на ИИ и споделяне на знания
- Непрекъснато подобрение и интеграция с информацията за угрози
Упражнение за разработване на план: Разработване на 90-денен план за действие за имплементация на практики на OWASP GenAI Security в организацията на участниците
Изисквания
- Обща убеденост в принципите на сигурността на уеб приложенията
- Основна запознаност с концепции на ИИ/ML
- Опит с рамки за сигурност или методологии за оценка на рискове е желателен
Целева група
- Специалисти по кибербезопасност
- Развители на ИИ
- Архитекти на системи
- Офицери за съответствие
- Специалисти по сигурност