План на курса

Въведение в Ollama за внедряване на LLM

  • Преглед на възможностите на Ollama.
  • Предимства на внедряването на локален AI модел
  • Сравнение с базирани на облак AI хостинг решения

Настройване на средата за разполагане

  • Инсталиране на Ollama и необходимите зависимости
  • Конфигуриране на хардуер и GPU ускорение
  • Dockerизграждане Ollama за мащабируеми внедрявания

Внедряване на LLM с Ollama

  • Зареждане и управление на AI модели
  • Внедряване на Llama 3, DeepSeek, Mistral и други модели
  • Създаване на API и крайни точки за достъп до AI модел

Оптимизиране на ефективността на LLM

  • Модели за фина настройка за ефективност
  • Намаляване на латентността и подобряване на времето за реакция
  • Управление на паметта и разпределението на ресурсите

Интегриране на Ollama в работни потоци на AI

  • Свързване Ollama към приложения и услуги
  • Автоматизиране на процеси, управлявани от AI
  • Използване на Ollama в крайни изчислителни среди

Мониторинг и поддръжка

  • Проследяване на ефективността и проблеми с отстраняването на грешки
  • Актуализиране и управление на AI модели
  • Гарантиране на сигурност и съответствие при внедряването на AI

Мащабиране на внедрявания на AI модели

  • Най-добри практики за справяне с високи натоварвания
  • Мащабиране Ollama за корпоративни случаи на използване
  • Бъдещи подобрения в внедряването на локален AI модел

Обобщение и следващи стъпки

Изисквания

  • Основен опит с машинно обучение и AI модели
  • Познаване на интерфейсите на командния ред и скриптове
  • Разбиране на среди за внедряване (локални, крайни, облачни)

Публика

  • AI инженери, оптимизиращи локални и базирани на облак внедрявания на AI
  • ML практици, внедряващи и фино настройващи LLM
  • DevOps специалисти, управляващи интегрирането на AI модели
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории