План на курса
Подготвяне на модели за машинно учене за разпределяне
- Пакетиране на модели с Docker
- Експортиране на модели от TensorFlow и PyTorch
- Разглеждане на версионирането и съхранението
Обслугване на модели в Kubernetes
- Обзор на сървъри за извеждане на заключения (inference servers)
- Разпределяне на TensorFlow Serving и TorchServe
- Настройка на модели към ендпоинти (endpoints)
Техники за оптимизиране на извеждането на заключения
- Стратегии за батчинг (batching)
- Обработка на паралелни заявки
- Настройка на латентността и пропускането (latency and throughput tuning)
Автоматично масштабиране на работните натоварвания за машинно учене
- Хоризонтален автоматичен масштабащ се под (Horizontal Pod Autoscaler - HPA)
- Вертикално автоматично маскиращо се под (Vertical Pod Autoscaler - VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Подготовка и управление на ресурси с GPU
- Конфигуриране на GPU нодове
- Обзор на NVIDIA устройственото приложение (device plugin)
- Заявки и ограничения за ресурси за работните натоварвания по машинно учене
Стратегии за пускане на модели и разграждане
- Синие/зелени разграждания (blue/green deployments)
- Канарийски модели за разграждане (canary rollout patterns)
- A/B тестове за оценка на моделите
Мониторинг и наблюдаемост на модели в производствата
- Метрики за работните натоварвания по извеждане на заключения (inference workloads)
- Практики за логване и трейсинг
- Панелите с информация и оповестявания (dashboards and alerting)
Разглеждане на сигурността и надеждността
- Защита на ендпоинтите за модели (model endpoints)
- Политики за мрежата и контрол над достъпа (network policies and access control)
- Обезпечаване на високата наличност (high availability)
Резюме и следващи стъпки
Изисквания
- Разбиране на работните процеси с контейризираните приложения
- Опит с модели за машинно учене, базирани на Python
- Запознаност с основните концепции на Kubernetes
Аудитория
- Инженери по машинно учене (ML engineers)
- DevOps инженери
- Екипи за платформеното инженерство
Отзиви от потребители (5)
Интерактивност, не четене на слайдове цял ден
Emilien Bavay - IRIS SA
Курс - Kubernetes Advanced
Машинен превод
той беше търпелив и разбираше, че отставаме
Albertina - REGNOLOGY ROMANIA S.R.L.
Курс - Deploying Kubernetes Applications with Helm
Машинен превод
Обучението беше по-практично
Siphokazi Biyana - Vodacom SA
Курс - Kubernetes on AWS
Машинен превод
Обучение за Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Курс - Kubernetes on Azure (AKS)
Машинен превод
Оказа отлична подготовка за Docker и Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Курс - Docker (introducing Kubernetes)
Машинен превод