План на курса

Введение в Mistral на масщаб

  • Обзор на Mistral Medium 3
  • Търговски отношения между производителност и цена
  • Разглеждане на масщабни предприятия

Модели за развертане на LLMs

  • Топологии за обслужване и дизайнови избори
  • Развертания на място срещу облачни развертания
  • Хибридни и мултиоблачни стратегии

Техники за оптимизация на извличане

  • Стратегии за групиране за висока пропускливост
  • Методи за квантизация за намаляване на разходите
  • Использване на акселератори и GPU

Масщабируемост и надежност

  • Масштабиране на кластери на Kubernetes за извличане
  • Балансиране на натоварването и маршрутиране на трафика
  • Отказоустойчивост и резервност

Рамки за инженерия на разходи

  • Измерване на ефективността на разходите за извличане
  • Оптимално разпределение на изчислителни и паметни ресурси
  • Мониторинг и сигнализиране за оптимизация

Сигурност и съответствие на производството

  • Сигуризиране на развертания и API
  • Разглеждане на управлението на данни
  • Регулаторно съответствие в инженерия на разходи

Примери за успешно приложение и добри практики

  • Рекомендуеми архитектури за Mistral на масщаб
  • Уроци, извлечени от предприемачески развертания
  • Бъдещи тенденции в ефективното извличане на LLMs

Резюме и следващи стъпки

Изисквания

  • Дълбоко разбиране на развертането на модели за машинно обучение
  • Опит с облачна инфраструктура и разпределени системи
  • Знакомство с стратегии за настройка на производителност и оптимизация на разходите

Целова публика

  • Инженерни специалисти по инфраструктура
  • Архитекти на облачни решения
  • Лидери по MLOps
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории