Курс за обучение по Оптимизиране на производителността на невронни мрежи с CANN SDK

Преглед на възможностите за оптимизация на CANN

• Как се управлява производителността на инференцията в CANN
• Цели за оптимизация на периферни и вградени AI системи
• Разбиране на използването на AI Core и разпределението на паметта

Използване на Graph Engine за анализ

• Въведение в Graph Engine и конвейера за изпълнение
• Визуализиране на графи на оператори и показатели по време на изпълнение
• Модифициране на изчислителни графи за оптимизация

Инструменти за профилиране и показатели за производителност

• Използване на CANN Profiling Tool (profiler) за анализ на натоварването
• Анализ на времето за изпълнение на ядрото и тесните места
• Профилиране на достъпа до паметта и стратегии за разпределяне на плочки

Разработка на потребителски оператори с TIK

• Преглед на TIK и модела за програмиране на оператори
• Внедряване на потребителски оператор с помощта на TIK DSL
• Тестване и сравнителен анализ на производителността на оператора

Усъвършенствана оптимизация на оператори с TVM

• Въведение в интеграцията на TVM с CANN
• Стратегии за автоматична настройка на изчислителни графи
• Кога и как да превключвате между TVM и TIK

Техники за оптимизация на паметта

• Управление на оформлението на паметта и разположението на буферите
• Техники за намаляване на потреблението на памет на чипа
• Най-добри практики за асинхронно изпълнение и повторно използване

Реално внедряване и практически примери

• Практически пример: настройка на производителността за тръбопровод на камери в умен град
• Практически пример: оптимизиране на стека за инференция на автономни превозни средства
• Насоки за итеративно профилиране и непрекъснато подобрение

Обобщение и следващи стъпки