Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Въведение
- Преглед на предизвикателствата при мащабиране на дълбокото обучение
- Преглед на DeepSpeed и неговите функции
- DeepSpeed срещу други разпределени библиотеки за дълбоко обучение
Първи стъпки
- Настройка на средата за разработка
- Инсталиране на PyTorch и DeepSpeed
- Конфигуриране на DeepSpeed за разпределено обучение
Функции за оптимизация на DeepSpeed
- Тръбопровод за обучение DeepSpeed
- ZeRO (оптимизиране на паметта)
- Контролна точка за активиране
- Градиентна контролна точка
- Паралелизъм на тръбопровода
Мащабиране на модели с DeepSpeed
- Основно мащабиране с помощта на DeepSpeed
- Разширени техники за мащабиране
- Съображения за производителност и най-добри практики
- Техники за отстраняване на грешки и отстраняване на проблеми
Разширени теми за DeepSpeed
- Разширени техники за оптимизация
- Използване на DeepSpeed със смесено прецизно обучение
- DeepSpeed на различен хардуер (напр. GPUs, TPU)
- DeepSpeed с множество тренировъчни възли
Интегриране на DeepSpeed с PyTorch
- Интегриране на работни потоци на DeepSpeed с PyTorch.
- Използване на DeepSpeed с PyTorch Lightning
Отстраняване на неизправности
- Отстраняване на грешки често срещани проблеми с DeepSpeed
- Мониторинг и регистриране
Обобщение и следващи стъпки
- Резюме на ключови концепции и функции
- Най-добри практики за използване на DeepSpeed в производството
- Допълнителни ресурси за научаване на повече за DeepSpeed
Изисквания
- Средни познания за принципите на задълбочено обучение
- Опит с PyTorch или подобни рамки за дълбоко обучение
- Познаване на Python програмиране
Публика
- Учени по данни
- Инженери по машинно обучение
- Разработчици
21 Часа
Oтзиви от потребители (2)
Организация, следвайки предложения ред, обширните знания на треньора по тази тема
Ali Kattan - TWPI
Курс - Natural Language Processing with TensorFlow
Машинен превод
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Курс - TensorFlow for Image Recognition
Машинен превод