Свържете се с нас
 Продължителност 35 часa

Съдържание и теми, включени в курса

Въведение и fundamentи за диагностика

  • Преглед на режимите на повреда в системите с LLM и често срещани специфични проблеми с Ollama
  • Установяване на възпроизводимите експерименти и контролирани среди
  • Инструменти за отстраняване на грешки: локални дневници, записи на заявки/отговори и изолирани среди (sandboxing)

Възпроизвеждане и изолиране на повреди

  • Техники за създаване на минимални примери за повреда и начални точки
  • Взаимодействия със състояни и без такова: изолиране на бъгове, свързани с контекста
  • Детерминизъм, случайност и контрол на недетерминистичното поведение

Поведенческа оценка и метрики

  • Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и проксими на недокументираност (perplexity)
  • Качествени оценки: оценка с човешка участ и дизайн на критерии
  • Проверки за вярност, специфични за дадената задача, и критерии за приемане

Автоматизирано тестване и регресия

  • Модулни тестове за промптове и компоненти, сценарийни и крайни тестове (end-to-end)
  • Създаване на регресионни набори от тестове и базови примери (golden examples)
  • Интеграция с CI/CD за актуализации на модели Ollama и автоматизирани контролни точки за валидация

Наблюдаемост и мониторинг

  • Структурирано журналиране, разпределени проследявания (distributed traces) и идентификатори за корелация
  • Ключови оперативни метрики: латентност, използване на токове, ставки на грешките и сигнали за качество
  • Аларми, таблони за управление (dashboards) и SLI/SLO за услуги, поддържани от модели

Разширен анализ на коренните причини

  • Проследяване през графични промптове, повиквания на инструменти и мулти-ходови потоци
  • Сравнителна A/B диагностика и ablation studies
  • Произход на данните, отстраняване на грешки в данните и справяне с повреди, причинени от данните

Безопасност, устойчивост и стратегии за коригиране

  • Митигация: филтриране, основяване (grounding), разширяване чрез извлечение (retrieval augmentation) и структурни рамки за промптове
  • Модели за отмяна (rollback), canary и поетапно разгръщане при актуализация на модели
  • Пост-мортеми, извлечени уроци и цикли за постоянно подобряване

Обобщение и следващи стъпки

Изисквания

  • Силен опит в изграждането и разгръщането на приложения с големи езикови модели (LLM)
  • Знакомство с процесите на Ollama и хостирането на модели
  • Уверено владеене на Python, Docker и основни инструменти за наблюдаемост

Целева аудитория

  • Инженери по изкуствен интелект
  • Професионалисти по ML Ops
  • Екипи за контрол на качеството, отговорни за продукционни системи с LLM

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории