Курс за обучение по Оптимизация на производителността на Ascend, Biren и Cambricon

Концепции и метрики за производителност

• Латентност, пропускателна способност, консумация на енергия, използване на ресурси
• Тесни места на системно ниво спрямо моделно ниво
• Профилиране за изводи спрямо обучение

Профилиране на Huawei Ascend

• Използване на CANN Profiler и MindInsight
• Диагностика на ядра и оператори
• Модели на разтоварване и картографиране на паметта

Профилиране на Biren GPU

• Функции за мониторинг на производителността в Biren SDK
• Сливане на ядра, подравняване на паметта и опашки за изпълнение
• Профилиране с отчитане на мощността и температурата

Профилиране на Cambricon MLU

• Инструменти за производителност BANGPy и Neuware
• Видимост на ниво ядро и интерпретация на логове
• Интеграция на MLU профайлъра с рамки за внедряване

Оптимизация на ниво граф и модел

• Стратегии за съкращаване на графа и квантуване
• Сливане на оператори и преструктуриране на изчислителния граф
• Стандартизация на размера на входа и настройка на батча

Оптимизация на паметта и ядрата

• Оптимизиране на разположението и повторното използване на паметта
• Ефективно управление на буферите в различните чипсети
• Техники за настройка на ниво ядро за всяка платформа

Най-добри практики в различните платформи

• Преносимост на производителността: стратегии за абстракция
• Изграждане на споделени тръбопроводи за настройка в многочипови среди
• Пример: настройка на модел за откриване на обекти на Ascend, Biren и MLU

Обобщение и следващи стъпки