Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Офлайн внедряване на EXO
- Използване на EXO_OFFLINE за предотвратяване на достъп до интернет по време на изпълнение
- Предварително зареждане на модели в EXO_MODELS_READ_ONLY_DIRS от надеждни вътрешни огледала
- Проверка на целостта на теглата на модела с SHA-256 контролни суми и подписани моделни карти
- Изпълнение на EXO в изолирани мрежи без зависимости от HuggingFace
Контрол на достъпа до таблото за управление и API
- Инсталиране и конфигуриране на обратни проксита (nginx, Caddy) с TLS терминиране
- Внедряване на контрол на достъпа, базиран на роли, за таблото за управление на EXO и REST API
- Използване на macOS keychain или Linux pass за съхранение на тайни за API удостоверяване
- Ограничаване на административните крайни точки до специфични диапазони от изходни IP адреси
Изолация на клъстера и мрежова сигурност
- Сегментиране на EXO клъстери с EXO_LIBP2P_NAMESPACE и VLAN
- Конфигуриране на защитни стени на хоста (macOS application firewall, iptables, nftables) за EXO портове
- Предотвратяване на неоторизирано откриване на устройства и инжектиране на злонамерени възли
- Криптиране на libp2p трафика между възлите, когато RDMA не е наличен
Управление на модели и произход
- Изграждане на вътрешен регистър на модели с одобрени списъци с модели и метаданни
- Маркиране и версиониране на квантувани тегла (4-битови, 8-битови) заедно с изходните контролни точки
- Налагане на правилото, че само специфични HuggingFace хранилища или вътрешни артефакти могат да бъдат зареждани
- Документиране на произхода на модела, лицензионните условия и политиките за приемлива употреба
Одитно регистриране и съответствие
- Конфигуриране на препращане на EXO регистрационни файлове към неизменни одитни следи (SIEM, WORM съхранение)
- Съотнасяне на регистрационните файлове на API извикванията с потребителска идентичност и времеви печат
- Улавяне на събития за създаване, изтриване и заявки за извод на моделни инстанции
- Генериране на периодични доклади за съответствие за вътрешни и външни одитори
Моделиране на заплахи и реакция при инциденти
- Идентифициране на заплахи: ексфилтрация на данни чрез изходи на модели, инжектиране на промптове, течове по странични канали
- Внедряване на мониторинг на промптове и тръбопроводи за филтриране на съдържание
- Създаване на сборници с процедури за реакция при инциденти за сценарии на компрометиране на клъстера
- Изолиране на засегнатите възли, запазване на съдебномедицински регистрационни файлове и възстановяване на чисти среди
Физическа сигурност и хардуерни граници
- Защита на Thunderbolt портовете срещу неоторизирани RDMA кабелни връзки
- Използване на защитени анклави и хардуерна атестация на Apple Silicon, където е приложимо
- Контролиране на физическия достъп до групирани Mac компютри и споделено съхранение
- Документиране на жизнения цикъл на хардуера и процедурите за извеждане от експлоатация
Регулаторни съображения
- Съпоставяне на внедряванията на EXO с изискванията на GDPR, HIPAA и SOC 2
- Поддържане на местопребиваване на данните чрез запазване на изводите на място
- Документиране на рисковете във веригата на доставки на доставчика (MLX, EXO, тегла на модели)
- Подготовка за рамки за управление на AI, като член 53 от Законодателния акт на ЕС за ИИ
Изисквания
- Опит с EXO или друга локална среда за изпълнение на LLM
- Разбиране на правата за достъп във файловата система на Unix и мрежовите ACL
- Запознатост с управлението на TLS/SSL сертификати и основи на криптирането
Аудитория
- Инженери по сигурността
- Служители по съответствието
- Администратори на AI инфраструктура, работещи с чувствителни данни
14 Часа
Отзиви от участници (1)
Инструкторът имаше отлични познания за FortiGate и предаваше съдържанието много добре. Благодаря много на Соруш.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Курс - FortiGate 7.4 Administration
Машинен превод