План на курса

Концепции и метрики за производителност

  • Закъснение, пропускателна способност, енергийно използване, използване на ресурси
  • Системни срещу моделни пречки
  • Профилиране за изводване срещу обучение

Профилиране на Huawei Ascend

  • Използване на CANN Profiler и MindInsight
  • Диагностика на ядра и оператори
  • Шаблони за източване и картиране на памет

Профилиране на Biren GPU

  • Функции за мониторинг на производителността в Biren SDK
  • Сливане на ядра, подравняване на памет и извършване на очереди
  • Профилиране с отчет за енергия и температура

Профилиране на Cambricon MLU

  • Инструменти за производителност BANGPy и Neuware
  • Видимост на ниво ядро и интерпретация на логи
  • Интеграция на MLU profiler с рамки за развертяване

Оптимизация на графа и модела

  • Стратегии за подрязване на графа и квантизация
  • Сливане на оператори и реструктуриране на графи на изчисления
  • Стандартизация на размер на входа и настройка на батчове

Оптимизация на паметта и ядрото

  • Оптимизация на разпределението и повторно използване на паметта
  • Ефективен мениджмънт на буфери в различни чипсетове
  • Техники за настройка на ниво ядро за всяка платформа

Най-добри практики за различни платформи

  • Портабилност на производителността: стратегии за абстракция
  • Създаване на общоплатформени пиплайни за настройка в мултичипови среди
  • Пример: настройка на модел за обекторазличаване на платформите Ascend, Biren и MLU

Резюме и следващи стъпки

Изисквания

  • Опит в работа с конвейери за обучение или развертане на AI модели
  • Разбиране в принципите на GPU/MLU изчисления и оптимизация на модели
  • Основно запознанство с инструменти и метрики за профилиране на производителност

Целева аудитория

  • Инженери на производителност
  • Екипи на инфраструктура за машинно обучение
  • Архитекти на AI системи
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории