Свържете се с нас

Съдържание и теми, включени в курса

Офлайн внедряване на EXO

  • Използване на EXO_OFFLINE за предотвратяване на достъп до интернет по време на изпълнение
  • Предварително зареждане на модели в EXO_MODELS_READ_ONLY_DIRS от надеждни вътрешни огледала
  • Проверка на целостта на теглата на модела с SHA-256 контролни суми и подписани моделни карти
  • Изпълнение на EXO в изолирани мрежи без зависимости от HuggingFace

Контрол на достъпа до таблото за управление и API

  • Инсталиране и конфигуриране на обратни проксита (nginx, Caddy) с TLS терминиране
  • Внедряване на контрол на достъпа, базиран на роли, за таблото за управление на EXO и REST API
  • Използване на macOS keychain или Linux pass за съхранение на тайни за API удостоверяване
  • Ограничаване на административните крайни точки до специфични диапазони от изходни IP адреси

Изолация на клъстера и мрежова сигурност

  • Сегментиране на EXO клъстери с EXO_LIBP2P_NAMESPACE и VLAN
  • Конфигуриране на защитни стени на хоста (macOS application firewall, iptables, nftables) за EXO портове
  • Предотвратяване на неоторизирано откриване на устройства и инжектиране на злонамерени възли
  • Криптиране на libp2p трафика между възлите, когато RDMA не е наличен

Управление на модели и произход

  • Изграждане на вътрешен регистър на модели с одобрени списъци с модели и метаданни
  • Маркиране и версиониране на квантувани тегла (4-битови, 8-битови) заедно с изходните контролни точки
  • Налагане на правилото, че само специфични HuggingFace хранилища или вътрешни артефакти могат да бъдат зареждани
  • Документиране на произхода на модела, лицензионните условия и политиките за приемлива употреба

Одитно регистриране и съответствие

  • Конфигуриране на препращане на EXO регистрационни файлове към неизменни одитни следи (SIEM, WORM съхранение)
  • Съотнасяне на регистрационните файлове на API извикванията с потребителска идентичност и времеви печат
  • Улавяне на събития за създаване, изтриване и заявки за извод на моделни инстанции
  • Генериране на периодични доклади за съответствие за вътрешни и външни одитори

Моделиране на заплахи и реакция при инциденти

  • Идентифициране на заплахи: ексфилтрация на данни чрез изходи на модели, инжектиране на промптове, течове по странични канали
  • Внедряване на мониторинг на промптове и тръбопроводи за филтриране на съдържание
  • Създаване на сборници с процедури за реакция при инциденти за сценарии на компрометиране на клъстера
  • Изолиране на засегнатите възли, запазване на съдебномедицински регистрационни файлове и възстановяване на чисти среди

Физическа сигурност и хардуерни граници

  • Защита на Thunderbolt портовете срещу неоторизирани RDMA кабелни връзки
  • Използване на защитени анклави и хардуерна атестация на Apple Silicon, където е приложимо
  • Контролиране на физическия достъп до групирани Mac компютри и споделено съхранение
  • Документиране на жизнения цикъл на хардуера и процедурите за извеждане от експлоатация

Регулаторни съображения

  • Съпоставяне на внедряванията на EXO с изискванията на GDPR, HIPAA и SOC 2
  • Поддържане на местопребиваване на данните чрез запазване на изводите на място
  • Документиране на рисковете във веригата на доставки на доставчика (MLX, EXO, тегла на модели)
  • Подготовка за рамки за управление на AI, като член 53 от Законодателния акт на ЕС за ИИ

Изисквания

  • Опит с EXO или друга локална среда за изпълнение на LLM
  • Разбиране на правата за достъп във файловата система на Unix и мрежовите ACL
  • Запознатост с управлението на TLS/SSL сертификати и основи на криптирането

Аудитория

  • Инженери по сигурността
  • Служители по съответствието
  • Администратори на AI инфраструктура, работещи с чувствителни данни
 14 Часа

Брой участници


Цена за участник

Отзиви от участници (1)

Предстоящи Курсове

Свързани Kатегории