Свържете се с нас

Съдържание и теми, включени в курса

Въведение и основи на диагностиката

  • Преглед на режимите на отказ в LLM системите и често срещани проблеми, специфични за Ollama
  • Създаване на възпроизводими експерименти и контролирани среди
  • Инструменти за отстраняване на грешки: локални логове, записване на заявки/отговори и изолиране в пясъчница

Възпроизвеждане и изолиране на откази

  • Техники за създаване на минимални примери за отказ и начални стойности
  • Състоятелни срещу безсъстоятелни взаимодействия: изолиране на грешки, свързани с контекста
  • Детерминизъм, случайност и контролиране на недетерминистично поведение

Поведенческа оценка и метрики

  • Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и приблизителна перплексност
  • Качествени оценки: оценяване с участието на човек и проектиране на критерии
  • Проверки за точност, специфични за задачата, и критерии за приемане

Автоматизирано тестване и регресия

  • Модулни тестове за промптове и компоненти, сценарийни тестове и тестове от край до край
  • Създаване на регресионни пакети и базови примери за еталон
  • Интеграция с CI/CD за актуализации на модели на Ollama и автоматизирани контролни точки за валидиране

Наблюдаемост и мониторинг

  • Структурирано логване, разпределени трасирания и идентификатори за корелация
  • Ключови оперативни метрики: латентност, използване на токени, честота на грешки и сигнали за качество
  • Известяване, табла за управление и SLIs/SLOs за услуги, поддържани от модели

Разширен анализ на първопричините

  • Трасиране през графични подкани, извиквания на инструменти и многоходови потоци
  • Сравнителна A/B диагностика и аблационни изследвания
  • Произход на данните, отстраняване на грешки в набори от данни и справяне с откази, предизвикани от данни

Стратегии за безопасност, устойчивост и отстраняване

  • Мерки за смекчаване: филтриране, обосноваване, разширяване чрез извличане и скелетиране на промптове
  • Стратегии за връщане назад, канарско внедряване и фазово пускане за актуализации на модели
  • Анализ след инцидент, извлечени уроци и цикли на непрекъснато усъвършенстване

Обобщение и следващи стъпки

Изисквания

  • Солиден опит в изграждането и внедряването на LLM приложения
  • Запознатост с работните процеси на Ollama и хостването на модели
  • Уверена работа с Python, Docker и основни инструменти за наблюдаемост

Целева аудитория

  • AI инженери
  • ML Ops специалисти
  • QA екипи, отговарящи за продукционни LLM системи
 35 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории