Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Преглед на възможностите за оптимизация на CANN
- Как се управлява производителността на изводите в CANN
- Цели за оптимизация за крайни и вградени AI системи
- Разбиране на използването на AI Core и разпределението на паметта
Използване на Graph Engine за анализ
- Въведение в Graph Engine и изпълнителния конвейер
- Визуализиране на графи на оператори и метрики на изпълнение
- Модифициране на изчислителни графи за оптимизация
Инструменти за профилиране и метрики на производителността
- Използване на CANN Profiling Tool (profiler) за анализ на натоварването
- Анализиране на времето за изпълнение на ядрото и тесните места
- Профилиране на достъпа до паметта и стратегии за разбиване на плочки
Разработка на персонализирани оператори с TIK
- Преглед на TIK и програмния модел за оператори
- Внедряване на персонализиран оператор с помощта на TIK DSL
- Тестване и сравнителен анализ на производителността на оператори
Разширена оптимизация на оператори с TVM
- Въведение в интеграцията на TVM с CANN
- Стратегии за автоматична настройка за изчислителни графи
- Кога и как да превключваме между TVM и TIK
Техники за оптимизация на паметта
- Управление на оформлението на паметта и разположението на буферите
- Техники за намаляване на консумацията на памет на чипа
- Най-добри практики за асинхронно изпълнение и повторно използване
Внедряване в реалния свят и казуси
- Казус: настройка на производителността за конвейер на камери за умен град
- Казус: оптимизиране на стека за изводи на автономни превозни средства
- Насоки за итеративно профилиране и непрекъснато подобрение
Обобщение и следващи стъпки
Изисквания
- Солидно разбиране на архитектурите на модели за дълбоко обучение и работните потоци за обучение
- Опит с внедряването на модели с помощта на CANN, TensorFlow или PyTorch
- Запознатост с Linux CLI, shell скриптове и програмиране на Python
Аудитория
- Инженери по AI производителност
- Специалисти по оптимизация на изводи
- Разработчици, работещи с краен AI или системи в реално време
14 Часа