Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Въведение в Mistral в мащаб
- Преглед на Mistral Medium 3
- Компромиси между производителност и разходи
- Съображения за корпоративен мащаб
Модели за внедряване на LLM
- Топологии за обслужване и избор на дизайн
- Внедряване на място срещу облачно внедряване
- Хибридни и мултиоблачни стратегии
Техники за оптимизация на инференцията
- Стратегии за групиране на заявки за висока пропускателна способност
- Методи за квантуване за намаляване на разходите
- Използване на ускорители и GPU
Мащабируемост и надеждност
- Мащабиране на Kubernetes клъстери за инференция
- Балансиране на натоварването и маршрутизиране на трафика
- Толерантност към грешки и резервиране
Рамки за инженеринг на разходите
- Измерване на ефективността на разходите за инференция
- Правилно оразмеряване на изчислителните и паметните ресурси
- Мониторинг и известяване за оптимизация
Сигурност и съответствие в производствена среда
- Защита на внедряванията и API-тата
- Съображения за управление на данните
- Регулаторно съответствие при инженеринга на разходите
Казуси и добри практики
- Референтни архитектури за Mistral в мащаб
- Научени уроци от корпоративни внедрявания
- Бъдещи тенденции в ефективната LLM инференция
Обобщение и следващи стъпки
Изисквания
- Задълбочено разбиране на внедряването на модели за машинно обучение
- Опит с облачна инфраструктура и разпределени системи
- Познаване на стратегиите за настройка на производителността и оптимизация на разходите
Аудитория
- Инфраструктурни инженери
- Облачни архитекти
- Ръководители на MLOps
14 Часа
