План на курса

Подготвяне на модели за машинно учене за разпределяне

  • Пакетиране на модели с Docker
  • Експортиране на модели от TensorFlow и PyTorch
  • Разглеждане на версионирането и съхранението

Обслугване на модели в Kubernetes

  • Обзор на сървъри за извеждане на заключения (inference servers)
  • Разпределяне на TensorFlow Serving и TorchServe
  • Настройка на модели към ендпоинти (endpoints)

Техники за оптимизиране на извеждането на заключения

  • Стратегии за батчинг (batching)
  • Обработка на паралелни заявки
  • Настройка на латентността и пропускането (latency and throughput tuning)

Автоматично масштабиране на работните натоварвания за машинно учене

  • Хоризонтален автоматичен масштабащ се под (Horizontal Pod Autoscaler - HPA)
  • Вертикално автоматично маскиращо се под (Vertical Pod Autoscaler - VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Подготовка и управление на ресурси с GPU

  • Конфигуриране на GPU нодове
  • Обзор на NVIDIA устройственото приложение (device plugin)
  • Заявки и ограничения за ресурси за работните натоварвания по машинно учене

Стратегии за пускане на модели и разграждане

  • Синие/зелени разграждания (blue/green deployments)
  • Канарийски модели за разграждане (canary rollout patterns)
  • A/B тестове за оценка на моделите

Мониторинг и наблюдаемост на модели в производствата

  • Метрики за работните натоварвания по извеждане на заключения (inference workloads)
  • Практики за логване и трейсинг
  • Панелите с информация и оповестявания (dashboards and alerting)

Разглеждане на сигурността и надеждността

  • Защита на ендпоинтите за модели (model endpoints)
  • Политики за мрежата и контрол над достъпа (network policies and access control)
  • Обезпечаване на високата наличност (high availability)

Резюме и следващи стъпки

Изисквания

  • Разбиране на работните процеси с контейризираните приложения
  • Опит с модели за машинно учене, базирани на Python
  • Запознаност с основните концепции на Kubernetes

Аудитория

  • Инженери по машинно учене (ML engineers)
  • DevOps инженери
  • Екипи за платформеното инженерство
 14 Часове

Брой участници


Цена за участник

Отзиви от потребители (5)

Предстоящи Курсове

Свързани Kатегории