Свържете се с нас

Съдържание и теми, включени в курса

Основи на продукционното използване на Tencent Hunyuan

  • Преглед на сценариите за обслужване на модели Tencent Hunyuan
  • Продукционни характеристики на големи модели и модели MoE
  • Често срещани затруднения с латентността, пропускателната способност и разходите
  • Определяне на цели на ниво обслужване за натоварвания с изводи

Архитектура на внедряване и поток на обслужване

  • Основни компоненти на продукционен стек за изводи
  • Избор между контейнеризирани, локални и облачни модели за внедряване
  • Основи на зареждане на модели, маршрутизиране на заявки и разпределяне на GPU
  • Проектиране за надеждност и оперативна простота

Оптимизация на латентността на практика

  • Използване на оптимизирани машини за изводи като TensorRT, когато е приложимо
  • Концепции за KV-кеш и практическа настройка на кеша
  • Намаляване на режийните разходи за стартиране, загряване и отговор
  • Измерване на времето до първия токен и скоростта на генериране на токени

Пропускателна способност, групиране и ефективност на GPU

  • Стратегии за непрекъснато групиране и групиране на заявки
  • Управление на паралелността и поведението на опашката
  • Подобряване на използването на GPU, без да се влошава потребителското изживяване
  • Обработка на заявки с дълъг контекст и смесени натоварвания

Квантуване и контрол на разходите

  • Защо квантуването е важно за продукционното обслужване
  • Практически компромиси на FP16, INT8 и други често срещани опции за точност
  • Балансиране на качеството на модела, латентността и разходите за инфраструктура
  • Изграждане на прост контролен списък за оптимизация на разходите

Операции, мониторинг и преглед на готовността

  • Тригери за автоматично мащабиране за услуги за изводи
  • Мониторинг на латентност, пропускателна способност, използване на кеша и здравето на GPU
  • Основи на логването, известяването и реакцията при инциденти
  • Преглед на референтно внедряване и създаване на план за подобрение

Изисквания

  • Основно разбиране за внедряването на големи езикови модели и работните потоци за изводи
  • Опит с контейнери, облачна или локална инфраструктура и услуги, базирани на API
  • Практически познания по Python или задачи по системно инженерство

Аудитория

  • ML инженери, внедряващи LLM в продукционна среда
  • Платформени инженери, отговорни за услуги за изводи, базирани на GPU
  • Архитекти на решения, проектиращи мащабируеми AI платформи за обслужване
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории