План на курса

Въведение и основни диагностики

  • Преглед на режими на срив в системи с голям езиков модел и общи проблеми специфични за Ollama
  • Създаване на възпроизводими експерименти и контролирани среди
  • Инструменти за отстраняване на грешки: местни регистри, захвати на заявки/отговори и изолация

Възпроизвеждане и изолиране на сривове

  • Техники за създаване на минимални примери за срив и семена
  • Състоятелни vs. безсъстоятелни взаимодействия: изолиране на грешки, свързани с контекста
  • Детерминизъм, случайност и контрол на недетерминистично поведение

Оценка на поведението и метрики

  • Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и прокси за перплексия
  • Качествени оценки: оценяване с човешка интеракция и дизайн на реперна таблица
  • Проверки за специфичното изпълнение на задачите и критерии за приемане

Автоматизирано тестване и регресия

  • Единични тестове за подсказки и компоненти, тестове на сценарии и от краят на края
  • Създаване на набори за регресионни тестове и базисни линии за златни примерци
  • Интеграция с CI/CD за обновления на модели на Ollama и автоматични портали за валидация

Наблюдаемост и мониторинг

  • Структурирано записване, разпределени следи и идентификатори за корелация
  • Ключови операционни метрики: закъснение, използване на токени, ставки на грешки и сигнали за качество
  • Уведомяване, таблота и SLIs/SLOs за услуги, подкрепени от модели

Напреднала анализа на причините

  • Следене през графирани подсказки, извиквания на инструменти и многократни потоки
  • Сравнителна диагностика A/B и изчиствателни изследвания
  • Произход на данните, отстраняване на грешки в набор от данни и адресиране на сривове, индуцирани от набор от данни

Сигурност, устойчивост и стратегии за поправка

  • Методи за намаляване на въздействие: филтриране, основаване, допълнително извличане и изграждане на подсказки
  • Връщане, канар и фазов модел за обновления на модели
  • Пост-анализа, извличане на уроци и непрекъснати цикли на подобрение

Резюме и следващи стъпки

Изисквания

  • Значителна опитност в изграждане и развертане на приложения с големи езикови модели (LLM)
  • Знание на процесите на Ollama и хостинг на модели
  • Удобство с Python, Docker и основни инструменти за наблюдение

Целева аудитория

  • Инженери по изкуствен интелигент
  • Професионалисти в ML Ops
  • Екипи за контрол на качеството, отговорни за продукционни LLM системи
 35 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории