Свържете се с нас
 Продължителност 35 часa

Съдържание и теми, включени в курса

Въведение и основи на диагностиката

  • Преглед на режимите на отказ в LLM системите и често срещани проблеми, специфични за Ollama
  • Създаване на възпроизводими експерименти и контролирани среди
  • Набор от инструменти за отстраняване на грешки: локални логове, заснемане на заявки/отговори и изолирани среди

Възпроизвеждане и изолиране на откази

  • Техники за създаване на минимални примери за отказ и начални стойности
  • Взаимодействия със и без запазване на състоянието: изолиране на грешки, свързани с контекста
  • Детерминизъм, случайност и контролиране на недетерминирано поведение

Поведенческа оценка и метрики

  • Количествени метрики: точност, ROUGE/BLEU варианти, калибриране и приближения на perplexity
  • Качествени оценки: оценяване с участието на човек и проектиране на критерии
  • Проверки за точност, специфични за задачата, и критерии за приемане

Автоматизирано тестване и регресия

  • Модулни тестове за промптове и компоненти, сценарийни и тестове от край до край
  • Създаване на регресионни пакети и базови примери за сравнение
  • CI/CD интеграция за актуализации на модели с Ollama и автоматизирани контролни точки за валидиране

Наблюдаемост и мониторинг

  • Структурирано логване, разпределени проследявания и корелационни идентификатори
  • Ключови оперативни метрики: латентност, използване на токени, нива на грешки и сигнали за качество
  • Известия, табла за управление и SLI/SLO за услуги, поддържани от модели

Разширен анализ на първопричините

  • Проследяване през свързани промптове, извиквания на инструменти и многоетапни потоци
  • Сравнителна A/B диагностика и аблационни изследвания
  • Произход на данните, отстраняване на грешки в наборите от данни и справяне с откази, предизвикани от данните

Безопасност, устойчивост и стратегии за отстраняване

  • Смекчаващи мерки: филтриране, обосноваване, разширяване с извличане и скелет на промпта
  • Модели за връщане назад, канарчета и поетапно внедряване на актуализации на модели
  • Посмъртни анализи, научени уроци и цикли за непрекъснато подобрение

Обобщение и следващи стъпки

Изисквания

  • Солиден опит в изграждането и внедряването на LLM приложения
  • Познаване на работните процеси с Ollama и хостването на модели
  • Увереност при работа с Python, Docker и основни инструменти за наблюдаемост

Аудитория

  • AI инженери
  • ML Ops специалисти
  • QA екипи, отговорни за продукционни LLM системи

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории