Съдържание и теми, включени в курса
Подготовка на модели за машинно обучение за разполагане
- Пакуване на модели с Docker
- Експортиране на модели от TensorFlow и PyTorch
- Разглеждане на версиониране и съхранение
Обслужване на модели на Kubernetes
- Преглед на инференс сървъри
- Разполагане на TensorFlow Serving и TorchServe
- Настройка на модел endpoints
Техники за оптимизация на инференса
- Стратегии за batch-ване
- Обработка на паралелни заявки
- Настройка на латентност и пропускателна способност
Автоскейлинг на ML workload-и
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU Provisioning и управление на ресурси
- Конфигуриране на GPU възли
- Преглед на NVIDIA device plugin
- Заявки и лимити за ресурси за ML workload-и
Стратегии за разгръщане и пускане на модели
- Blue/green deployment
- Canary rollout шаблони
- A/B тестване за оценка на моделите
Мониторинг и наблюдаемост за ML в продуктивна среда
- Метрики за инференс workload-и
- Практики за логване и проследяване
- Табло и аларми
Разглеждане на сигурност и надеждност
- Сигуреност на модел endpoints
- Мрежови политики и контрол на достъпа
- Обезпечаване на висока наличност
Обобщение и следващи стъпки
Изисквания
- Разбиране на workflow-ите за контейнирани приложения
- Опит с модели за машинно обучение на базата на Python
- Знаене на основите на Kubernetes
Целева аудитория
- ML инженери
- DevOps инженери
- Екипи за платформено инженерство
Отзиви от участници (4)
основи на разбирането за контейнери/Kubernetes и как те взаимодействат функциите на платформата OpenShift
Eric Scholze - NOW IT GmbH
Курс - Introduction to Containers, Kubernetes & OpenShift
Машинен превод
За микросервисите и как да поддържате Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Курс - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Машинен превод
Как тренинзите предават знания толкова ефективно
Vu Thoai Le - Reply Polska sp. z o. o.
Курс - Certified Kubernetes Administrator (CKA) - exam preparation
Машинен превод
Знанието и обмените с Августин
Laurent - L'Office national des vacances annuelles (ONVA)
Курс - Docker and Kubernetes
Машинен превод