План на курса

Въведение

    Преглед на предизвикателствата при мащабиране на дълбокото обучение Преглед на DeepSpeed и неговите функции DeepSpeed срещу други разпределени библиотеки за дълбоко обучение

Приготвяме се да започнем

    Настройване на средата за разработка Инсталиране на PyTorch и DeepSpeed Конфигуриране на DeepSpeed за разпределено обучение

Функции за оптимизация на DeepSpeed

    DeepSpeed тренировъчен тръбопровод ZeRO (оптимизиране на паметта) Контролна точка за активиране Контролна точка на градиент Паралелизъм на тръбопровода

Мащабиране на модели с DeepSpeed

    Основно мащабиране с помощта на DeepSpeed Разширени техники за мащабиране Съображения за производителност и най-добри практики Техники за отстраняване на грешки и отстраняване на проблеми

Разширени теми за DeepSpeed

    Разширени техники за оптимизация Използване на DeepSpeed със смесено прецизно обучение DeepSpeed на различен хардуер (напр. GPUs, TPUs) DeepSpeed с множество възли за обучение

Интегриране на DeepSpeed с PyTorch

    Интегриране на DeepSpeed с PyTorch работни потоци Използване на DeepSpeed с PyTorch Lightning

Отстраняване на неизправности

    Отстраняване на грешки при често срещани проблеми с DeepSpeed Наблюдение и регистриране

Обобщение и следващи стъпки

    Резюме на ключови концепции и характеристики. Най-добри практики за използване на DeepSpeed в производството Допълнителни ресурси за научаване на повече за DeepSpeed

Изисквания

  • Средни познания за принципите на задълбочено обучение
  • Опит с PyTorch или подобни рамки за дълбоко обучение
  • Познаване на програмирането на Python

Публика

  • Учени по данни
  • Инженери по машинно обучение
  • Разработчици
 21 Hours

Брой участници



Цена за участник

Свързани Kурсове

Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation

21 Hours

Свързани Kатегории