Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Въведение в Mistral в мащаб
- Общ преглед на Mistral Medium 3
- Компромиси между производителност и разходи
- Съображения за корпоративен мащаб
Модели за внедряване на LLM
- Топологии за обслужване и дизайнерски решения
- Внедряване на място спрямо облачно внедряване
- Хибридни и многоблачни стратегии
Техники за оптимизация на инференцията
- Стратегии за групиране за висока пропускателна способност
- Методи за квантуване за намаляване на разходите
- Използване на ускорители и GPU
Мащабируемост и надеждност
- Мащабиране на Kubernetes клъстери за инференция
- Балансиране на натоварването и маршрутизиране на трафика
- Толерантност към грешки и резервираност
Рамки за инженеринг на разходите
- Измерване на разходната ефективност на инференцията
- Определяне на подходящия размер на изчислителните и паметовите ресурси
- Мониторинг и известяване за оптимизация
Сигурност и съответствие в продукционна среда
- Обезопасяване на внедряванията и API-тата
- Съображения за управление на данните
- Съответствие с регулациите в инженеринга на разходите
Казуси и най-добри практики
- Референтни архитектури за Mistral в мащаб
- Научени уроци от корпоративни внедрявания
- Бъдещи тенденции в ефективната LLM инференция
Обобщение и следващи стъпки
Изисквания
- Силно разбиране за внедряването на модели за машинно обучение
- Опит с облачна инфраструктура и разпределени системи
- Познаване на стратегиите за настройка на производителността и оптимизация на разходите
Аудитория
- Инфраструктурни инженери
- Облачни архитекти
- Ръководители на MLOps
14 Часа