Свържете се с нас

Съдържание и теми, включени в курса

Въведение в мащабирането на Ollama

  • Архитектура на Ollama и съображения за мащабиране
  • Често срещани тесни места при многопотребителски внедрявания
  • Най-добри практики за готовност на инфраструктурата

Разпределение на ресурсите и оптимизация на GPU

  • Стратегии за ефективно използване на CPU/GPU
  • Съображения за паметта и честотната лента
  • Ограничения на ресурсите на ниво контейнер

Внедряване с контейнери и Kubernetes

  • Контейнеризиране на Ollama с Docker
  • Изпълнение на Ollama в Kubernetes клъстери
  • Балансиране на натоварването и откриване на услуги

Автоматично мащабиране и пакетна обработка

  • Проектиране на политики за автоматично мащабиране за Ollama
  • Техники за пакетно извеждане за оптимизация на пропускателната способност
  • Компромиси между латентност и пропускателна способност

Оптимизация на латентността

  • Профилиране на производителността на извеждане
  • Стратегии за кеширане и загряване на модела
  • Намаляване на входа/изхода и комуникационния оверхед

Мониторинг и наблюдаемост

  • Интегриране на Prometheus за метрики
  • Изграждане на табла за управление с Grafana
  • Известяване и реакция при инциденти за инфраструктурата на Ollama

Управление на разходите и стратегии за мащабиране

  • Разпределение на GPU ресурсите с отчитане на разходите
  • Съображения при внедряване в облак срещу на място
  • Стратегии за устойчиво мащабиране

Обобщение и следващи стъпки

Изисквания

  • Опит в администрирането на Linux системи
  • Разбиране на контейнеризацията и оркестрацията
  • Запознатост с внедряването на модели за машинно обучение

Аудитория

  • DevOps инженери
  • Екипи по инфраструктура за машинно обучение
  • Инженери по надеждност на сайта
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории