Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Заплаха на AI
- Защо AI сигурността е различна: недетерминираност, непрозрачно разсъждение, промпт като повърхност за атака.
- Таксономия на атаките: тренировки време срещу инференс време и атаки върху веригата на доставки.
- Моделът на противника в ML: кой атакува AI системи и защо.
OWASP Top 10 за LLM приложения
- Инжектиране на промпт: директни и индиректни вектори на атака.
- Несигурно третиране на изхода и cross-plugin request forgery.
- Отравяне на данни за обучение и уязвимости в веригата на доставки.
- Отказ от услуга на модела, разкриване на чувствителна информация и прекомерна агенция.
- Работа с лаборатория: експлоатиране всяка OWASP категория срещу тестово приложение.
Prompt Injection и Jailbreak червено-екерсни упражнения
- Таксономия на техниките за инжектиране: директна, индиректна, многоетапна и многомодална.
- Автоматизирано червено-екерсно тестване с Giskard, Garak и инструменти за custom fuzzing.
- Класификация на jailbreak и оценка на защитата.
- Създаване на harness за червения екип за непрекъснато тестване на AI сигурност.
Атаки върху модела и защита
- Екстракция на модела: кражба на тегла и функционалност чрез API заявки.
- Членство-инференс: определяне дали данни са били включени в набор за обучение.
- Adversarial примери: пертурбации, които заблудят класификаторите и embeddings.
- Отравяне на данни: коруптиране на обучителните данни за индукция на backdoors или снижаване на производителността.
Входни и изходни сигурностни контроли
- Санизиране на входа над традиционните уеб защити.
- Филтриране на изхода: токсичност, разкриване на PII, халуцинирано изпълнение на код.
- Защитни огради като инфраструктура за сигурност: NeMo, Guardrails AI и персонализирани политики.
- Принудително структурирано изходно форматиране като граница за сигурност.
Сигурност на веригата доставки
- Произход на моделите: проверяване на автентичността и целостта на модели.
- Сканиране за зависимости за ML рамки и формати на модели.
- Сигурна обработка на модела: sandboxing, мрежова изолация и достъп с най-малки права.
- Оценка на finetuned и общностни модели за вградени малвари.
Оперативна сигурност за AI системи
- Достъп до контроли за крайните точки на модела, векторни храни и инструменти за агенти.
- Аудиторски логове за всяка интеракция с модела и решение.
- Реагиране при инциденти за AI специфични компрометации: когато самият модел е компрометиран.
- Непрекъснато тестване на сигурността в CI/CD за ML pipelines.
Създаване на AI програмa за сигурност
- Модел на зрялост и пътна карта за AI сигурност.
- Интегриране на AI сигурност в съществуващите програми за AppSec и облачна сигурност.
- Рамки за управление и нови регулации за AI системи.
- Създаване и поддържане на организационен playbook за AI сигурност.
Изисквания
- Опит в разгръщането на ML модели или LLM приложения в производство.
- Запознатост със сигурностните концепции, включително аутентикация, авторизация и моделиране на заплахи.
- Продължено владеене на Python за adversarial тестови упражнения.
Целева аудитория
- Инженери по сигурност, които разширяват своя обхват към AI/ML повърхности на заплахи.
- ML инженери, отговорни за безопасността и устойчивостта на моделите.
- Членове на червен екипи, добавящи AI системи в обхвата си за тестване.
14 Часа
