План на курса
Основи на ИИ и сигурност
- Какво прави системите с ИИ уникални от гледна точка на сигурността
- Общ преглед на жизнен цикъл на ИИ: данни, обучение, инференция и разполагане
- Основна таксономия на рисковете на ИИ: технически, етични, законодателни и организационни
Вектори на заплахи специфични за ИИ
- Противодействие примери и манипулация на модели
- Инверсия на модели и рискове от разлива на данни
- Извършване на извращяване на данни по време на фазата на обучение
- Рискове в генеративната ИИ (например, злоупотреба с LLM, инъекция на подказки)
Рамки за управление на сигурносни рискове
- NIST AI Risk Management Framework (NIST AI RMF)
- ISO/IEC 42001 и други стандартни рамки специфични за ИИ
- Карта на рисковете от ИИ във вече съществуващи предприемателски рамки GRC
Управление и принципи за съответствие на ИИ
- Отговорност и проверяемост на ИИ
- Прозрачност, обяснимост и справедливост като свойства, свързани с сигурността
- Прагматизъм, дискриминация и последични вреди
Готовост на предприемачеството и политики за сигурността на ИИ
- Дефиниране на роли и отговорности в програмите за сигурност на ИИ
- Политически елементи: разработка, закупуване, използване и изтегляне
- Трети страни риск и употреба на инструменти за ИИ от доставчици
Редовна регулация и глобални тенденции
- Общ преглед на Директивата за ИИ в ЕС и международното регулиране
- Екзекутивен указ на САЩ относно безопасна, сигурна и доверена ИИ
- Възникващи национални рамки и секторни указания
Опционален семинар: Карта на рисковете и самооценка
- Карта на реални приложения на ИИ към функциите на NIST AI RMF
- Извършване на основна самооценка за рисковете от ИИ
- Разпознаване на вътрешни недостатъци в готовостта за сигурност на ИИ
Резюме и следващи стъпки
Изисквания
- Разбиране на основни принципи на сигурността в ИТ
- Опит с управление на рисковете или рамки за съответствие в ИТ
- Знание на общи концепции за ИИ е полезно, но не задължително
Целева група
- Екипи за сигурност на ИТ
- Мениджъри на рисковете
- Специалисти по съответствие
Отзиви от потребители (2)
Оценявам много обучението по AI атаки и инструментите, които са налични за започване на практика и активно използване при тестове за сигурност. Придобих много знания, които не имах в началото, а курсът реализира очакванията ми. Най-интересната част за мен беше Comet Browser, което ме впечатли с възможностите си. Определено ще се задълба по-задълбочено в тази тема. Като цяло, курсът беше изключително добър и насладих на ученето на всички точки от OWASP GenAI Top 10.
Patrick Collins - Optum
Курс - OWASP GenAI Security
Машинен превод
Професионалните знания и начинът, по който ни ги представи
Miroslav Nachev - PUBLIC COURSE
Курс - Cybersecurity in AI Systems
Машинен превод