План на курса
Въведение в красното осаляване на ИИ
- Разбиране на угрозите за ИИ
- Ролите на червените екипи в сигурността на ИИ
- Етични и правни разсъждения
Антагонистично машинно учене
- Видове атаки: елиминация, отравяне, изваждане, инференция
- Генериране на антигонителни примери (например, FGSM, PGD)
- Целеви vs. нецелеви атаки и критерии за успех
Тестване на робастността на модела
- Оценка на робастността при наводнения
- Изучаване на слепите зони и режимите на съ/Dk на модела
- Стрес тестване на модели за класификация, визуализация и NLP
Красно осаляване на пайплайните на ИИ
- Атакуемата повърхност на пайплайните на ИИ: данни, модел, разполагане
- Експлоатиране на незащитените API и точки за доставяне на модели
- Обратно инженерство на поведението и изходите на модела
Симулация и обезпечаване на инструменти
- Използване на Adversarial Robustness Toolbox (ART)
- Красно осаляване с инструменти като TextAttack и IBM ART
- Инструменти за песък-боксинг, мониторинг и наблюдаемост
Стратегия на червените екипи по ИИ и сътрудничество с защитата
- Разработка на упражнения и цели за червени екипи
- Комуникиране на откритията към сините екипи
- Интегриране на красното осаляване в управлението на риск от ИИ
Резюме и следващи стъпки
Изисквания
- Разбиране на архитектурите за машинно и дълбоко учене
- Опит с Python и ML фреймворки (например, TensorFlow, PyTorch)
- Запознаност с концепциите на кибер сигурността или офансивните техники за сигурност
Целева група
- Изследователи по сигурност
- Офансивни екипи за сигурност
- Професионалисти в областта на гарантирането и красното осаляване на ИИ
Отзиви от потребители (2)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод
Професионалните знания и начинът, по който ни ги представи
Miroslav Nachev - PUBLIC COURSE
Курс - Cybersecurity in AI Systems
Машинен превод