Свържете се с нас

Съдържание и теми, включени в курса

Въведение в Mistral в мащаб

  • Общ преглед на Mistral Medium 3
  • Компромиси между производителност и разходи
  • Съображения за корпоративен мащаб

Модели за внедряване на LLM

  • Топологии за обслужване и дизайнерски решения
  • Внедряване на място спрямо облачно внедряване
  • Хибридни и многоблачни стратегии

Техники за оптимизация на инференцията

  • Стратегии за групиране за висока пропускателна способност
  • Методи за квантуване за намаляване на разходите
  • Използване на ускорители и GPU

Мащабируемост и надеждност

  • Мащабиране на Kubernetes клъстери за инференция
  • Балансиране на натоварването и маршрутизиране на трафика
  • Толерантност към грешки и резервираност

Рамки за инженеринг на разходите

  • Измерване на разходната ефективност на инференцията
  • Определяне на подходящия размер на изчислителните и паметовите ресурси
  • Мониторинг и известяване за оптимизация

Сигурност и съответствие в продукционна среда

  • Обезопасяване на внедряванията и API-тата
  • Съображения за управление на данните
  • Съответствие с регулациите в инженеринга на разходите

Казуси и най-добри практики

  • Референтни архитектури за Mistral в мащаб
  • Научени уроци от корпоративни внедрявания
  • Бъдещи тенденции в ефективната LLM инференция

Обобщение и следващи стъпки

Изисквания

  • Силно разбиране за внедряването на модели за машинно обучение
  • Опит с облачна инфраструктура и разпределени системи
  • Познаване на стратегиите за настройка на производителността и оптимизация на разходите

Аудитория

  • Инфраструктурни инженери
  • Облачни архитекти
  • Ръководители на MLOps
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории