Свържете се с нас

Съдържание и теми, включени в курса

Концепции и показатели за производителност

  • Закъснение, пропускателна способност, консумация на енергия, използване на ресурси
  • Тесни места на системно ниво спрямо моделно ниво
  • Профилиране за извод спрямо обучение

Профилиране на Huawei Ascend

  • Използване на CANN Profiler и MindInsight
  • Диагностика на ядра и оператори
  • Модели на офлоуд и картографиране на паметта

Профилиране на Biren GPU

  • Функции за мониторинг на производителността на Biren SDK
  • Сливане на ядра, подравняване на паметта и опашки за изпълнение
  • Профилиране, съобразено с мощността и температурата

Профилиране на Cambricon MLU

  • Инструменти за производителност BANGPy и Neuware
  • Видимост на ниво ядро и интерпретация на логове
  • Интеграция на MLU профайлър с рамки за внедряване

Оптимизация на ниво граф и модел

  • Стратегии за прунинг на граф и квантизация
  • Сливане на оператори и преструктуриране на изчислителен граф
  • Стандартизация на размера на входа и настройка на партиди

Оптимизация на памет и ядра

  • Оптимизиране на оформление и повторно използване на паметта
  • Ефективно управление на буфери в различните чипсети
  • Техники за настройка на ниво ядро за всяка платформа

Най-добри практики за различни платформи

  • Преносимост на производителността: стратегии за абстракция
  • Изграждане на споделени конвейери за настройка за мулти-чип среди
  • Пример: настройка на модел за разпознаване на обекти върху Ascend, Biren и MLU

Обобщение и следващи стъпки

Изисквания

  • Опит в работата с конвейери за обучение или внедряване на AI модели
  • Разбиране на принципите на GPU/MLU изчисленията и оптимизацията на модели
  • Основна запознатост с инструменти и показатели за профилиране на производителността

Аудитория

  • Инженери по производителност
  • Екипи за инфраструктура за машинно обучение
  • Архитекти на AI системи
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории