План на курса
Подготвяне на модели за машинно учене за разпределяне
- Пакетиране на модели с Docker
- Експортиране на модели от TensorFlow и PyTorch
- Разглеждане на версионирането и съхранението
Обслугване на модели в Kubernetes
- Обзор на сървъри за извеждане на заключения (inference servers)
- Разпределяне на TensorFlow Serving и TorchServe
- Настройка на модели към ендпоинти (endpoints)
Техники за оптимизиране на извеждането на заключения
- Стратегии за батчинг (batching)
- Обработка на паралелни заявки
- Настройка на латентността и пропускането (latency and throughput tuning)
Автоматично масштабиране на работните натоварвания за машинно учене
- Хоризонтален автоматичен масштабащ се под (Horizontal Pod Autoscaler - HPA)
- Вертикално автоматично маскиращо се под (Vertical Pod Autoscaler - VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Подготовка и управление на ресурси с GPU
- Конфигуриране на GPU нодове
- Обзор на NVIDIA устройственото приложение (device plugin)
- Заявки и ограничения за ресурси за работните натоварвания по машинно учене
Стратегии за пускане на модели и разграждане
- Синие/зелени разграждания (blue/green deployments)
- Канарийски модели за разграждане (canary rollout patterns)
- A/B тестове за оценка на моделите
Мониторинг и наблюдаемост на модели в производствата
- Метрики за работните натоварвания по извеждане на заключения (inference workloads)
- Практики за логване и трейсинг
- Панелите с информация и оповестявания (dashboards and alerting)
Разглеждане на сигурността и надеждността
- Защита на ендпоинтите за модели (model endpoints)
- Политики за мрежата и контрол над достъпа (network policies and access control)
- Обезпечаване на високата наличност (high availability)
Резюме и следващи стъпки
Изисквания
- Разбиране на работните процеси с контейризираните приложения
- Опит с модели за машинно учене, базирани на Python
- Запознаност с основните концепции на Kubernetes
Аудитория
- Инженери по машинно учене (ML engineers)
- DevOps инженери
- Екипи за платформеното инженерство
Отзиви от потребители (3)
За микросервисите и как да поддържате Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Курс - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Машинен превод
Как тренинзите предават знания толкова ефективно
Vu Thoai Le - Reply Polska sp. z o. o.
Курс - Certified Kubernetes Administrator (CKA) - exam preparation
Машинен превод
Знанието и търпението на инструктора да отговаря на нашия въпроси.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Курс - Deploying Kubernetes Applications with Helm
Машинен превод