Свържете се с нас

План на курса

Подготовка на модели за машинно обучение за разполагане

  • Пакетиране на модели с Docker
  • Експортиране на модели от TensorFlow и PyTorch
  • Разглеждане на версияниране и съхранение

Обслужване на модели в Kubernetes

  • Общ преглед на сървърите за изводи (inference servers)
  • Разполагане на TensorFlow Serving и TorchServe
  • Настройка на ендпойнти за модели

Техники за оптимизация на изводи

  • Стратегии за групово обработване (batching)
  • Обработка на едновременни заявки
  • Настройка на забавяне (latency) и пропускателна способност (throughput)

Автоматично мащабиране на товари с машинно обучение

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Предоставяне на GPU и управление на ресурсите

  • Конфигуриране на възли с GPU
  • Общ преглед на NVIDIA device plugin
  • Заявени ресурси и лимити за товари с машинно обучение

Стратегии за разгръщане и освобождаване на модели

  • Разгръщане blue/green
  • Шаблийни модели за разгръщане (canary rollout patterns)
  • A/B тестване за оценка на модели

Мониторинг и видимост за ML в производствена среда

  • Метрики за товари с изводи
  • Практики за логове и проследяване (logging and tracing)
  • Таблици за управление (dashboards) и известия

Разглеждане на сигурност и надеждност

  • Сигурност на ендпойнти за модели
  • Мрежови политики и контрол на достъпа
  • Осигуряване на висока наличност

Обобщение и следващи стъпки

Изисквания

  • Разбиране на работните процеси на контейнеризирани приложения
  • Опит с модели за машинно обучение, базирани на Python
  • Познанство с основите на Kubernetes

Целева аудитория

  • Инженери по машинно обучение (ML engineers)
  • Инженери DevOps
  • Екипи по платформено инженерство
 14 Часове

Брой участници


Цена за участник

Отзиви от потребители (3)

Предстоящи Курсове

Свързани Kатегории