Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Введение в Mistral на масщаб
- Обзор на Mistral Medium 3
- Търговски отношения между производителност и цена
- Разглеждане на масщабни предприятия
Модели за развертане на LLMs
- Топологии за обслужване и дизайнови избори
- Развертания на място срещу облачни развертания
- Хибридни и мултиоблачни стратегии
Техники за оптимизация на извличане
- Стратегии за групиране за висока пропускливост
- Методи за квантизация за намаляване на разходите
- Использване на акселератори и GPU
Масщабируемост и надежност
- Масштабиране на кластери на Kubernetes за извличане
- Балансиране на натоварването и маршрутиране на трафика
- Отказоустойчивост и резервност
Рамки за инженерия на разходи
- Измерване на ефективността на разходите за извличане
- Оптимално разпределение на изчислителни и паметни ресурси
- Мониторинг и сигнализиране за оптимизация
Сигурност и съответствие на производството
- Сигуризиране на развертания и API
- Разглеждане на управлението на данни
- Регулаторно съответствие в инженерия на разходи
Примери за успешно приложение и добри практики
- Рекомендуеми архитектури за Mistral на масщаб
- Уроци, извлечени от предприемачески развертания
- Бъдещи тенденции в ефективното извличане на LLMs
Резюме и следващи стъпки
Изисквания
- Дълбоко разбиране на развертането на модели за машинно обучение
- Опит с облачна инфраструктура и разпределени системи
- Знакомство с стратегии за настройка на производителност и оптимизация на разходите
Целова публика
- Инженерни специалисти по инфраструктура
- Архитекти на облачни решения
- Лидери по MLOps
14 часа