Съдържание и теми, включени в курса
Въведение в контейнеризацията с GPU ускорение
- Разбиране на използването на GPU в работните процеси за дълбоко обучение
- Как Docker поддържа работни натоварвания, базирани на GPU
- Ключови съображения за производителността
Инсталиране и конфигуриране на NVIDIA Container Toolkit
- Настройка на драйвери и CUDA съвместимост
- Валидиране на достъпа до GPU вътре в контейнерите
- Конфигуриране на средата за изпълнение
Изграждане на Docker изображения с активиран GPU
- Използване на CUDA базови изображения
- Пакетиране на AI рамки в готови за GPU контейнери
- Управление на зависимостите за обучение и инференция
Изпълнение на AI работни натоварвания с GPU ускорение
- Изпълнение на задачи за обучение с използване на GPU
- Управление на работни натоварвания с множество GPU
- Мониторинг на използването на GPU
Оптимизиране на производителността и разпределението на ресурси
- Ограничаване и изолиране на GPU ресурси
- Оптимизиране на паметта, размерите на партидите и разположението на устройствата
- Настройка на производителността и диагностика
Контейнеризирана инференция и обслужване на модели
- Изграждане на контейнери, готови за инференция
- Обслужване на работни натоварвания с високо натоварване на GPU
- Интегриране на средства за изпълнение на модели и API
Мащабиране на GPU работни натоварвания с Docker
- Стратегии за разпределено GPU обучение
- Мащабиране на микросервиси за инференция
- Координиране на AI системи с множество контейнери
Сигурност и надеждност на контейнери с активиран GPU
- Осигуряване на безопасен достъп до GPU в споделени среди
- Укрепване на сигурността на контейнерните изображения
- Управление на актуализации, версии и съвместимост
Обобщение и следващи стъпки
Изисквания
- Разбиране на основите на дълбокото обучение
- Опит с Python и разпространени AI рамки
- Запознатост с основните концепции за контейнеризация
Аудитория
- Инженери по дълбоко обучение
- Екипи за научноизследователска и развойна дейност
- Обучители на AI модели
Отзиви от участници (2)
Както вече отбелязах, за човек като мен (без опит) това беше входна врата към разбирането на функционалностите и възможностите на тези програми/инструменти и др.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Курс - Docker and Kubernetes
Машинен превод
многономенклатурна, структурирана образователна програма.
Bert Paelinckx - Cube SoftwareSolutions
Курс - Introduction to Docker
Машинен превод