Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Разполагане на офлайн EXO
- Използване на EXO_OFFLINE за предотвратяване на интернет достъп по време на изпълнение
- Предварително зареждане на модели в EXO_MODELS_READ_ONLY_DIRS от доверени вътрешни огледала
- Проверка на целостта на теглата на моделите с SHA-256 суми и подписани карти на моделите
- Изпълнение на EXO във въздушно-изолирани мрежи без зависимости от HuggingFace
Контрол на достъпа до таблото за управление и API
- Инсталиране и конфигуриране на reverse proxies (nginx, Caddy) с TLS termination
- Реализиране на ролев контрол на достъпа (RBAC) за таблото за управление на EXO и REST API
- Използване на macOS keychain или Linux pass за съхраняване на секрети за удостоверяване на API
- Ограничаване на административните крайни точки до конкретни обхвати от IP адреси
Изолиране на кластери и мрежова сигурност
- Сегментиране на EXO кластерите с EXO_LIBP2P_NAMESPACE и VLAN
- Конфигуриране на стенни огньове на хоста (macOS application firewall, iptables, nftables) за портовете на EXO
- Предотвратяване на неразрешено откриване на устройства и инжектиране на неоторизирани възли
- Криптиране на трафика на libp2p между възлите, когато RDMA не е наличен
Управление и проследимост на модели
- Изграждане на вътрешен регистър за модели с одобрени списъци на модели и метаданни
- Тагиране и версионизиране на квантувани тегла (4-bit, 8-bit) заедно с изходните контроли
- Прилагане на изискване за зареждане само на конкретни репозитории на HuggingFace или вътрешни артефакти
- Документиране на произхода на моделите, лицензионните условия и политиките за допустима употреба
Одитни регистри и съответствие
- Конфигуриране на изпращане на логове на EXO към непроменими одитни следи (SIEM, WORM съхранение)
- Корелиране на регистрите на API повикванията с потребителска самоличност и отметка на времето
- Заснемане на събития за създаване, изтриване на инстанция на модел и заявки за извод
- Генериране на периодични отчети за съответствие за вътрешни и външни одитори
Модел на заплахи и реакция при инциденти
- Идентифициране на заплахи: експлоатация на данни чрез изходите на модел, инжектиране на промптове, странични канали за изтичане
- Реализиране на пайплайни за мониторинг на промптове и филтриране на съдържанието
- Създаване на ръководства за реакция при инциденти за сценарии на компрометиране на кластер
- Изолиране на засегнатите възли, съхраняване на форензични регистри и изграждане на нови чисти среди
Физическа сигурност и хардуерни граници
- Засилване на защитата на Thunderbolt портовете срещу неразрешени RDMA кабелни връзки
- Използване на сигурни анклави и хардуерно удостоверяване на Apple Silicon, където е приложимо
- Контрол на физическия достъп до кластерирани Mac устройства и споделеното съхранение
- Документиране на жизнения цикъл на хардуера и процедурите за извеждане от експлоатация
Регулаторни съображения
- Съпоставяне на разполаганията на EXO с изискванията на GDPR, HIPAA и SOC 2
- Поддържане на резидентността на данните чрез извършване на изводи на място
- Документиране на рисковете във веригата на доставчиците на доставчици (MLX, EXO, тегла на модели)
- Подготовка за рамки за управление на AI, като член 53 от AI акта на ЕС
Изисквания
- Опит с EXO или друг локален runtime за големи езикови модели (LLM)
- Разбиране на правата за достъп във файлова система на Unix и мрежовите ACL
- Запознаване с управлението на TLS/SSL сертификати и основите на криптирането
Целева аудитория
- Инженери по сигурност
- Служители по спазване на регулациите
- Администратори на AI инфраструктура, работещи със sensitive данни
14 Часове
Отзиви от потребители (1)
Инструкторът имаше отлични познания за FortiGate и предаваше съдържанието много добре. Благодаря много на Соруш.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Курс - FortiGate 7.4 Administration
Машинен превод