Съдържание и теми, включени в курса
Въведение в AI Red Teaming
- Разбиране на пейзажа на AI заплахите
- Роли на red екипите в AI сигурността
- Етични и правни съображения
Противниково машинно обучение
- Видове атаки: избягване, отравяне, извличане, извод
- Генериране на противникови примери (напр. FGSM, PGD)
- Целеви срещу нецелеви атаки и метрики за успех
Тестване на устойчивостта на моделите
- Оценяване на устойчивостта при смущения
- Изследване на слепите петна на моделите и режимите на отказ
- Стрес тестване на модели за класификация, компютърно зрение и NLP
Red Teaming за AI тръбопроводи
- Атакуваща повърхност на AI тръбопроводите: данни, модел, внедряване
- Експлоатиране на несигурни моделни API и крайни точки
- Обратно инженерство на поведението и изходите на модела
Симулация и инструменти
- Използване на Adversarial Robustness Toolbox (ART)
- Red teaming с инструменти като TextAttack и IBM ART
- Инструменти за пясъчник, мониторинг и наблюдаемост
Стратегия за AI Red Team и сътрудничество със синия екип
- Разработване на упражнения и цели за red екипа
- Комуникиране на констатациите на сините екипи
- Интегриране на red teaming в управлението на AI риска
Обобщение и следващи стъпки
Изисквания
- Разбиране на архитектурите за машинно обучение и дълбоко обучение
- Опит с Python и ML рамки (напр. TensorFlow, PyTorch)
- Запознатост с концепции за киберсигурност или техники за офанзивна сигурност
Аудитория
- Изследователи в областта на сигурността
- Екипи за офанзивна сигурност
- Професионалисти по AI осигуряване и red team
Отзиви от участници (2)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод
Професионалните знания и начинът, по който ни ги представи
Miroslav Nachev - PUBLIC COURSE
Курс - Cybersecurity in AI Systems
Машинен превод