Свържете се с нас

План на курса

Въведение в Mistral мащабируемо

  • Преглед на Mistral Medium 3.
  • Компромиси между производителност и разходи.
  • Разгледки при мащабиране за предприятия.

Модели за разгъване на големи езикови модели

  • Топологии за обслужване и избор на дизайн.
  • Разгъване на място срещу облачно разгъване.
  • Хибридни и многооблачни стратегии.

Техники за оптимизиране на извода (инференс)

  • Стратегии за групиране (batching) за висока пропускливост.
  • Методи за квантизация за намаляване на разходите.
  • Използване на ускорители и GPU.

Мащабируемост и надеждност

  • Мащабиране на Kubernetes кластери за инференс.
  • Балансиране на натоварването и маршрутизиране на трафика.
  • Толерантност към грешки и резервирани системи.

Рамки за инженерство на разходи

  • Измерване на ефективността на разходите за инференс.
  • Правило за размера на изчислителните и паметни ресурси.
  • Мониторинг и предупреждения за оптимизация.

Сигурност и съответствие в производството

  • Осигуряване на разгъвания и API-та.
  • Разглеждане на управлението на данни.
  • Регулаторно съответствие в инженерството на разходи.

Кейсове и най-добри практики

  • Референтни архитектури за Mistral мащабируемо.
  • Уроци от корпоративни разгъвания.
  • Бъдещи тенденции в ефективен инференс на големи езикови модели.

Обобщение и следващи стъпки

Изисквания

  • Здравословно разбиране на разгъването на машинни модели.
  • Опит с облачна инфраструктура и разпределени системи.
  • Запознанство с техники за тунинг на производителността и стратегии за оптимизиране на разходите.

За кого е

  • Инженери по инфраструктура.
  • Облачни архитекти.
  • Ръководители MLOps.
 14 Часове

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории