Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 14 часa
Съдържание и теми, включени в курса
Въведение в Mistral при мащабиране
- Обзор на Mistral Medium 3
- Компромис между производителност и разходи
- Разглеждане на въпросите при мащабиране за корпорации
Модели за разгръщане на LLM
- Топологии за обслужване и проектирански избори
- Разгръщане в локални сървъри срещу облачни
- Хибридни и мульти-облачни стратегии
Техники за оптимизиране на инференцията
- Стратегии за батчове за висока пропускателна способност
- Методи за квантуване за намаляване на разходите
- Използване на ускорители и GPU
Мащабируемост и надеждност
- Мащабиране на Kubernetes клъстери за инференция
- Балансиране на натоварването и маршрутизиране на трафика
- Отказоустойчивост и резервност
Рамкови модели за инженеринг на разходите
- Мерене на ефективността на разходите за инференция
- Оптимално подбиране на изчислителни и паметови ресурси
- Мониторинг и алерти за оптимизация
Сигурност и съответствие в производствената среда
- Сигурно разгръщане и API
- Разглеждане на въпросите за управление на данните
- Нормативно съответствие в инженеринга на разходите
Казуси и най-добрите практики
- Референтни архитектури за Mistral при мащабиране
- Уроци, извлечени от корпоративни разгръщания
- Будещи тенденции в ефективната инференция на LLM
Резюме и следващи стъпки
Изисквания
- Силно разбиране на разгръщането на модели за машинно обучение
- Опит с облачна инфраструктура и разпределени системи
- Знакомство със стратегии за тюнинг на производителността и оптимизиране на разходите
Аудитория
- Инженери по инфраструктура
- Облачни архитекти
- Ръководители на MLOps