Свържете се с нас
 Продължителност 14 часa

Съдържание и теми, включени в курса

Въведение в Mistral при мащабиране

  • Обзор на Mistral Medium 3
  • Компромис между производителност и разходи
  • Разглеждане на въпросите при мащабиране за корпорации

Модели за разгръщане на LLM

  • Топологии за обслужване и проектирански избори
  • Разгръщане в локални сървъри срещу облачни
  • Хибридни и мульти-облачни стратегии

Техники за оптимизиране на инференцията

  • Стратегии за батчове за висока пропускателна способност
  • Методи за квантуване за намаляване на разходите
  • Използване на ускорители и GPU

Мащабируемост и надеждност

  • Мащабиране на Kubernetes клъстери за инференция
  • Балансиране на натоварването и маршрутизиране на трафика
  • Отказоустойчивост и резервност

Рамкови модели за инженеринг на разходите

  • Мерене на ефективността на разходите за инференция
  • Оптимално подбиране на изчислителни и паметови ресурси
  • Мониторинг и алерти за оптимизация

Сигурност и съответствие в производствената среда

  • Сигурно разгръщане и API
  • Разглеждане на въпросите за управление на данните
  • Нормативно съответствие в инженеринга на разходите

Казуси и най-добрите практики

  • Референтни архитектури за Mistral при мащабиране
  • Уроци, извлечени от корпоративни разгръщания
  • Будещи тенденции в ефективната инференция на LLM

Резюме и следващи стъпки

Изисквания

  • Силно разбиране на разгръщането на модели за машинно обучение
  • Опит с облачна инфраструктура и разпределени системи
  • Знакомство със стратегии за тюнинг на производителността и оптимизиране на разходите

Аудитория

  • Инженери по инфраструктура
  • Облачни архитекти
  • Ръководители на MLOps

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории