Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 14 часa
Съдържание и теми, включени в курса
Подготовка на модели за машинно обучение за разполагане
- Пакуване на модели с Docker
- Експортиране на модели от TensorFlow и PyTorch
- Разглеждане на версиониране и съхранение
Обслужване на модели на Kubernetes
- Преглед на инференс сървъри
- Разполагане на TensorFlow Serving и TorchServe
- Настройка на модел endpoints
Техники за оптимизация на инференса
- Стратегии за batch-ване
- Обработка на паралелни заявки
- Настройка на латентност и пропускателна способност
Автоскейлинг на ML workload-и
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU Provisioning и управление на ресурси
- Конфигуриране на GPU възли
- Преглед на NVIDIA device plugin
- Заявки и лимити за ресурси за ML workload-и
Стратегии за разгръщане и пускане на модели
- Blue/green deployment
- Canary rollout шаблони
- A/B тестване за оценка на моделите
Мониторинг и наблюдаемост за ML в продуктивна среда
- Метрики за инференс workload-и
- Практики за логване и проследяване
- Табло и аларми
Разглеждане на сигурност и надеждност
- Сигуреност на модел endpoints
- Мрежови политики и контрол на достъпа
- Обезпечаване на висока наличност
Обобщение и следващи стъпки
Изисквания
- Разбиране на workflow-ите за контейнирани приложения
- Опит с модели за машинно обучение на базата на Python
- Знаене на основите на Kubernetes
Целева аудитория
- ML инженери
- DevOps инженери
- Екипи за платформено инженерство
Отзиви от участници (1)
Обичам частта от обучението за Kubernetes, тъй като имам задачи свързани с K8s подове и портове, и беше приятно да придоби по-добро разбиране сега. Благодаря ви!
Laura Miron - Betfair
Курс - Docker and Kubernetes
Машинен превод