План на курса

Введение в разработка на собствени оператори

  • Защо да създавате собствени оператори? Примери за използване и ограничения
  • Структура на CANN в средата за изпълнение и точки за интеграция на оператори
  • Преглед на TBE, TIK и TVM в екосистемата за изкуствен интелигент на Huawei

Използване на TIK за оператори на ниско ниво Programming

  • Разбиране на модела за програмиране на TIK и поддържаните API
  • Управление на паметта и стратегия за нарезка в TIK
  • Създаване, компилиране и регистриране на собствен оператор с CANN

Тестиране и валидация на собствени оператори

  • Единично тестване и интеграционно тестване на оператори в графа
  • Диагностика на проблеми с производителност на ниво ядро
  • Визуализация на изпълнението на оператора и поведението на буферите

TVM-основано планиране и оптимизация

  • Преглед на TVM като компилатор за тензорни оператори
  • Написване на график за собствен оператор в TVM
  • Настройка, тестване и генериране на код за Ascend

Интеграция с платформи и модели

  • Регистриране на собствени оператори за MindSpore и ONNX
  • Проверка на цялостта на модела и поведението при отказ
  • Поддържане на многооператорни графи с смесена точност

Примери и специализирани оптимизации

  • Пример: висока ефективност на свръхсложение за малки форми на вход
  • Пример: оптимизация на оператори за внимание с памет
  • Най-добри практики при развой на собствени оператори за различни устройства

Резюме и следващи стъпки


Изисквания

  • Чвръсто знание на интернали на AI модели и операторно ниво на изчисленията
  • Опит с Python и Linux среди за разработка
  • Запознатост с компилатори за нейронни мрежи или оптимизатори на ниво на граф

Целева аудитория

  • Инженери на компилатори, работящи по AI инструментални вериги
  • Системни разработчици, фокусирани върху оптимизация на ниско ниво на AI
  • Разработчици, създаващи персонализирани операции или целящи нови AI натоварвания
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории