План на курса

Фундаментални основи: модели на угрози за агентски ИИ

  • Типове агентски угрози: злоупотреба, ескалирация, изтекло данни и рискове от веригата на снабдяване
  • Профили на противници и способности на нападателите специално за автономни агенти
  • Карта на активи, граници на доверие и критични контролни точки за агенти

Управление, политика и риск менеджмънт

  • Рамки за управлението на агентски системи (роли, отговорности, врати за одобрение)
  • Проектиране на политики: приемлимо използване, правила за ескалирация, обработка на данни и аудитабилност
  • Разглеждане на съответствието и колекция на доказателства за аудита

Удостоверяване на личността и авторизация на агенти

  • Проектиране на удостоверения за агенти: акаунти за услуги, JWTs и краткосрочни вериги на достъп
  • Патерни на достъп с минимални права и авторизация при нужда
  • Животен циклус, ротация, делегиране и откъсване на удостоверенията

Контроли за достъп, секретни данни и защита на данните

  • Модели с финална контрола на достъпа и патерни базирани на способности за агенти
  • Управление на секрети, шифроване при прехвърляне и в покой, минимизиране на данните
  • Защита на чувствителни източници на знания и лични данни от неавторизиран достъп на агенти

Наблюдаемост, аудит и реакция при инциденти

  • Проектиране на телеметрия за поведение на агента: проследяване на намерения, журнали с команди и происхождение
  • Интеграция с SIEM, порогове за извеждане на аларми и готовност за следствени действия
  • Ръководства и сценарии за инциденти свързани с агентите и съдържането им

Червени отряди на агентски системи

  • Планиране на упражнения с червените отряди: обхвърт, правила за включване и безопасна резервна копия
  • Адверзарни техники: инжекция на подсказки, злоупотреба с инструменти, манипулация с ланцети и злоупотреба с API
  • Провеждане на контролирани атаки и измерване на експозицията и вплив

Ослабяване и компенсации

  • Инженерни контроли: задържани отговори, ограничаване на способности и сандбоксиране
  • Политически и орхестрационни контроли: потоци за одобрение, участие на човека във веригата и хуки за управлението
  • Защита на модели и подсказки: валидация на входи, канонизация и филтри за изход

Реализация на безопасни разглеждане на агенти

  • Патерни за разглеждане: стаджинг, канарен и прогресивен излъчване на агенти
  • Контрол на промени, тестови пайпилини и предварителни проверки за безопасност
  • Многофункционално управление: ръководства по сигурността, юридически аспекти, продуктите и операциите

Краен проект: упражнение на червените и сините отряди

  • Провеждане на симулирана атака на червения отряд върху среда за песен
  • Защита, откриване и премахване като синият отряд, използвайки контроли и телеметрия
  • Представяне на намеренията, план за корекция и актуализирани политики

Резюме и следващи стъпки

Изисквания

  • Твърдо задълбочено знание в инженерията на сигурността, управляването на системи или операции в oblака
  • Знайки с концепциите и поведението на ИИ/МЛ и големите модели за език (LLM)
  • Опит с удостоверяване на личността и контролиране на достъпа (IAM) и безопасно проектиране на системи

Целева аудитория

  • Инженери за сигурност и участници в червените отряди
  • Инженери за ИИ операции и платформи
  • Съветници по съответствието и риск менеджмънт
  • Инженерски ръководители, отговарящи за разглеждане на агентите
 21 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории