Свържете се с нас

Съдържание и теми, включени в курса

Преглед на възможностите за оптимизация на CANN

  • Как се управлява производителността на изводите в CANN
  • Цели за оптимизация за крайни и вградени AI системи
  • Разбиране на използването на AI Core и разпределението на паметта

Използване на Graph Engine за анализ

  • Въведение в Graph Engine и изпълнителния конвейер
  • Визуализиране на графи на оператори и метрики на изпълнение
  • Модифициране на изчислителни графи за оптимизация

Инструменти за профилиране и метрики на производителността

  • Използване на CANN Profiling Tool (profiler) за анализ на натоварването
  • Анализиране на времето за изпълнение на ядрото и тесните места
  • Профилиране на достъпа до паметта и стратегии за разбиване на плочки

Разработка на персонализирани оператори с TIK

  • Преглед на TIK и програмния модел за оператори
  • Внедряване на персонализиран оператор с помощта на TIK DSL
  • Тестване и сравнителен анализ на производителността на оператори

Разширена оптимизация на оператори с TVM

  • Въведение в интеграцията на TVM с CANN
  • Стратегии за автоматична настройка за изчислителни графи
  • Кога и как да превключваме между TVM и TIK

Техники за оптимизация на паметта

  • Управление на оформлението на паметта и разположението на буферите
  • Техники за намаляване на консумацията на памет на чипа
  • Най-добри практики за асинхронно изпълнение и повторно използване

Внедряване в реалния свят и казуси

  • Казус: настройка на производителността за конвейер на камери за умен град
  • Казус: оптимизиране на стека за изводи на автономни превозни средства
  • Насоки за итеративно профилиране и непрекъснато подобрение

Обобщение и следващи стъпки

Изисквания

  • Солидно разбиране на архитектурите на модели за дълбоко обучение и работните потоци за обучение
  • Опит с внедряването на модели с помощта на CANN, TensorFlow или PyTorch
  • Запознатост с Linux CLI, shell скриптове и програмиране на Python

Аудитория

  • Инженери по AI производителност
  • Специалисти по оптимизация на изводи
  • Разработчици, работещи с краен AI или системи в реално време
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории