План на курса
Въведение
- Преглед на предизвикателствата при мащабиране на дълбокото обучение
- Преглед на DeepSpeed и неговите функции
- DeepSpeed срещу други разпределени библиотеки за дълбоко обучение
Първи стъпки
- Настройка на средата за разработка
- Инсталиране на PyTorch и DeepSpeed
- Конфигуриране на DeepSpeed за разпределено обучение
Функции за оптимизация на DeepSpeed
- Тръбопровод за обучение DeepSpeed
- ZeRO (оптимизиране на паметта)
- Контролна точка за активиране
- Градиентна контролна точка
- Паралелизъм на тръбопровода
Мащабиране на модели с DeepSpeed
- Основно мащабиране с помощта на DeepSpeed
- Разширени техники за мащабиране
- Съображения за производителност и най-добри практики
- Техники за отстраняване на грешки и отстраняване на проблеми
Разширени теми за DeepSpeed
- Разширени техники за оптимизация
- Използване на DeepSpeed със смесено прецизно обучение
- DeepSpeed на различен хардуер (напр. GPUs, TPU)
- DeepSpeed с множество тренировъчни възли
Интегриране на DeepSpeed с PyTorch
- Интегриране на работни потоци на DeepSpeed с PyTorch.
- Използване на DeepSpeed с PyTorch Lightning
Отстраняване на неизправности
- Отстраняване на грешки често срещани проблеми с DeepSpeed
- Мониторинг и регистриране
Обобщение и следващи стъпки
- Резюме на ключови концепции и функции
- Най-добри практики за използване на DeepSpeed в производството
- Допълнителни ресурси за научаване на повече за DeepSpeed
Изисквания
- Средни познания за принципите на задълбочено обучение
- Опит с PyTorch или подобни рамки за дълбоко обучение
- Познаване на Python програмиране
Публика
- Учени по данни
- Инженери по машинно обучение
- Разработчици
Отзиви от потребители (3)
Много ми хареса краят, когато прекарахме време, разглеждайки CHAT GPT. Залата не беше най-добре организирана за това – вместо едно голямо стола, няколко по-малки щеше да помогне, за да се разделим на малки групи и да мислим съвместно.
Nola - Laramie County Community College
Курс - Artificial Intelligence (AI) Overview
Машинен превод
Работата с първични принципи по фокусиран начин и прилагане на кейс студии вътре в същия ден
Maggie Webb - Department of Jobs, Regions, and Precincts
Курс - Artificial Neural Networks, Machine Learning, Deep Thinking
Машинен превод
Прибирахме се, че минаваме през непосредствено важна информация в подходящ темп (тоест, без допълнителни материали).
Maggie Webb - Department of Jobs, Regions, and Precincts
Курс - Introduction to the use of neural networks
Машинен превод