Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Въведение в Mistral мащабируемо
- Преглед на Mistral Medium 3.
- Компромиси между производителност и разходи.
- Разгледки при мащабиране за предприятия.
Модели за разгъване на големи езикови модели
- Топологии за обслужване и избор на дизайн.
- Разгъване на място срещу облачно разгъване.
- Хибридни и многооблачни стратегии.
Техники за оптимизиране на извода (инференс)
- Стратегии за групиране (batching) за висока пропускливост.
- Методи за квантизация за намаляване на разходите.
- Използване на ускорители и GPU.
Мащабируемост и надеждност
- Мащабиране на Kubernetes кластери за инференс.
- Балансиране на натоварването и маршрутизиране на трафика.
- Толерантност към грешки и резервирани системи.
Рамки за инженерство на разходи
- Измерване на ефективността на разходите за инференс.
- Правило за размера на изчислителните и паметни ресурси.
- Мониторинг и предупреждения за оптимизация.
Сигурност и съответствие в производството
- Осигуряване на разгъвания и API-та.
- Разглеждане на управлението на данни.
- Регулаторно съответствие в инженерството на разходи.
Кейсове и най-добри практики
- Референтни архитектури за Mistral мащабируемо.
- Уроци от корпоративни разгъвания.
- Бъдещи тенденции в ефективен инференс на големи езикови модели.
Обобщение и следващи стъпки
Изисквания
- Здравословно разбиране на разгъването на машинни модели.
- Опит с облачна инфраструктура и разпределени системи.
- Запознанство с техники за тунинг на производителността и стратегии за оптимизиране на разходите.
За кого е
- Инженери по инфраструктура.
- Облачни архитекти.
- Ръководители MLOps.
14 Часове