План на курса

Обзор на възможностите за оптимизация на CANN

  • Как се обработява производителността на извода в CANN
  • Цели за оптимизация на системи за умна преработка на данни и вградени AI
  • Разбиране на използването на AI Core и разпределяне на паметта

Използване на Graph Engine за анализ

  • Введение в Graph Engine и изпълнителния процес
  • Визуализация на операторски графи и метрики на времето за изпълнение
  • Модифициране на компютърни графи за оптимизация

Инструменти за профилиране и метрики за производителност

  • Използване на инструмента за профилиране на CANN (profiler) за анализ на натовареността
  • Анализ на времето за изпълнение на ядрото и на тъпанарските зъби
  • Профилиране на достъпа до паметта и стратегии за площи

Развитие на собствени оператори с TIK

  • Обзор на TIK и модел на програмиране на оператори
  • Имплементация на собствен оператор с използване на TIK DSL
  • Тестиране и измерване на производителността на оператори

Напредна оптимизация на оператори с TVM

  • Въведение в интеграцията на TVM с CANN
  • Стратегии за автоматично настройване на компютърни графи
  • Кога и как да преминаваме между TVM и TIK

Техники за оптимизация на паметта

  • Управление на разпределението на паметта и разположението на буферите
  • Техники за намаляване на консумацията на вътрешнопроцесорна памет
  • Най-добри практики за асинхронно изпълнение и повторно използване

Реални приложения и случаи за изследване

  • Случай за изследване: оптимизация на производителността на камера за умно градско наблюдение
  • Случай за изследване: оптимизация на стека за извод на автономни автомобили
  • Указания за итеративно профилиране и непрекъснато подобряване

Резюме и следващи стъпки

Изисквания

  • Дълбоко разбиране на архитектурата на модели за дълбоко обучение и процесите на обучение
  • Опит с развертяване на модели с помощта на CANN, TensorFlow или PyTorch
  • Запознатост с Linux CLI, shell скриптове и Python програмиране

Целева аудитория

  • Инженери за оптимизация на производителност на ИИ
  • Специалисти по оптимизация на извличане на информация
  • Разработчици, работящи с AI на края или реални системи
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории