Свържете се с нас

План на курса

Разполагане на офлайн EXO

  • Използване на EXO_OFFLINE за предотвратяване на интернет достъп по време на изпълнение
  • Предварително зареждане на модели в EXO_MODELS_READ_ONLY_DIRS от доверени вътрешни огледала
  • Проверка на целостта на теглата на моделите с SHA-256 суми и подписани карти на моделите
  • Изпълнение на EXO във въздушно-изолирани мрежи без зависимости от HuggingFace

Контрол на достъпа до таблото за управление и API

  • Инсталиране и конфигуриране на reverse proxies (nginx, Caddy) с TLS termination
  • Реализиране на ролев контрол на достъпа (RBAC) за таблото за управление на EXO и REST API
  • Използване на macOS keychain или Linux pass за съхраняване на секрети за удостоверяване на API
  • Ограничаване на административните крайни точки до конкретни обхвати от IP адреси

Изолиране на кластери и мрежова сигурност

  • Сегментиране на EXO кластерите с EXO_LIBP2P_NAMESPACE и VLAN
  • Конфигуриране на стенни огньове на хоста (macOS application firewall, iptables, nftables) за портовете на EXO
  • Предотвратяване на неразрешено откриване на устройства и инжектиране на неоторизирани възли
  • Криптиране на трафика на libp2p между възлите, когато RDMA не е наличен

Управление и проследимост на модели

  • Изграждане на вътрешен регистър за модели с одобрени списъци на модели и метаданни
  • Тагиране и версионизиране на квантувани тегла (4-bit, 8-bit) заедно с изходните контроли
  • Прилагане на изискване за зареждане само на конкретни репозитории на HuggingFace или вътрешни артефакти
  • Документиране на произхода на моделите, лицензионните условия и политиките за допустима употреба

Одитни регистри и съответствие

  • Конфигуриране на изпращане на логове на EXO към непроменими одитни следи (SIEM, WORM съхранение)
  • Корелиране на регистрите на API повикванията с потребителска самоличност и отметка на времето
  • Заснемане на събития за създаване, изтриване на инстанция на модел и заявки за извод
  • Генериране на периодични отчети за съответствие за вътрешни и външни одитори

Модел на заплахи и реакция при инциденти

  • Идентифициране на заплахи: експлоатация на данни чрез изходите на модел, инжектиране на промптове, странични канали за изтичане
  • Реализиране на пайплайни за мониторинг на промптове и филтриране на съдържанието
  • Създаване на ръководства за реакция при инциденти за сценарии на компрометиране на кластер
  • Изолиране на засегнатите възли, съхраняване на форензични регистри и изграждане на нови чисти среди

Физическа сигурност и хардуерни граници

  • Засилване на защитата на Thunderbolt портовете срещу неразрешени RDMA кабелни връзки
  • Използване на сигурни анклави и хардуерно удостоверяване на Apple Silicon, където е приложимо
  • Контрол на физическия достъп до кластерирани Mac устройства и споделеното съхранение
  • Документиране на жизнения цикъл на хардуера и процедурите за извеждане от експлоатация

Регулаторни съображения

  • Съпоставяне на разполаганията на EXO с изискванията на GDPR, HIPAA и SOC 2
  • Поддържане на резидентността на данните чрез извършване на изводи на място
  • Документиране на рисковете във веригата на доставчиците на доставчици (MLX, EXO, тегла на модели)
  • Подготовка за рамки за управление на AI, като член 53 от AI акта на ЕС

Изисквания

  • Опит с EXO или друг локален runtime за големи езикови модели (LLM)
  • Разбиране на правата за достъп във файлова система на Unix и мрежовите ACL
  • Запознаване с управлението на TLS/SSL сертификати и основите на криптирането

Целева аудитория

  • Инженери по сигурност
  • Служители по спазване на регулациите
  • Администратори на AI инфраструктура, работещи със sensitive данни
 14 Часове

Брой участници


Цена за участник

Отзиви от потребители (1)

Предстоящи Курсове

Свързани Kатегории