Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
План на курса
Въведение
- Преглед на предизвикателствата при мащабиране на дълбокото обучение Преглед на DeepSpeed и неговите функции DeepSpeed срещу други разпределени библиотеки за дълбоко обучение
Приготвяме се да започнем
- Настройване на средата за разработка Инсталиране на PyTorch и DeepSpeed Конфигуриране на DeepSpeed за разпределено обучение
Функции за оптимизация на DeepSpeed
- DeepSpeed тренировъчен тръбопровод ZeRO (оптимизиране на паметта) Контролна точка за активиране Контролна точка на градиент Паралелизъм на тръбопровода
Мащабиране на модели с DeepSpeed
- Основно мащабиране с помощта на DeepSpeed Разширени техники за мащабиране Съображения за производителност и най-добри практики Техники за отстраняване на грешки и отстраняване на проблеми
Разширени теми за DeepSpeed
- Разширени техники за оптимизация Използване на DeepSpeed със смесено прецизно обучение DeepSpeed на различен хардуер (напр. GPUs, TPUs) DeepSpeed с множество възли за обучение
Интегриране на DeepSpeed с PyTorch
- Интегриране на DeepSpeed с PyTorch работни потоци Използване на DeepSpeed с PyTorch Lightning
Отстраняване на неизправности
- Отстраняване на грешки при често срещани проблеми с DeepSpeed Наблюдение и регистриране
Обобщение и следващи стъпки
- Резюме на ключови концепции и характеристики. Най-добри практики за използване на DeepSpeed в производството Допълнителни ресурси за научаване на повече за DeepSpeed
Изисквания
- Средни познания за принципите на задълбочено обучение
- Опит с PyTorch или подобни рамки за дълбоко обучение
- Познаване на програмирането на Python
Публика
- Учени по данни
- Инженери по машинно обучение
- Разработчици
21 Hours