Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Въведение и основи на диагностиката
- Преглед на режимите на отказ в LLM системите и често срещани проблеми, специфични за Ollama
- Създаване на възпроизводими експерименти и контролирани среди
- Инструменти за отстраняване на грешки: локални логове, записване на заявки/отговори и изолиране в пясъчница
Възпроизвеждане и изолиране на откази
- Техники за създаване на минимални примери за отказ и начални стойности
- Състоятелни срещу безсъстоятелни взаимодействия: изолиране на грешки, свързани с контекста
- Детерминизъм, случайност и контролиране на недетерминистично поведение
Поведенческа оценка и метрики
- Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и приблизителна перплексност
- Качествени оценки: оценяване с участието на човек и проектиране на критерии
- Проверки за точност, специфични за задачата, и критерии за приемане
Автоматизирано тестване и регресия
- Модулни тестове за промптове и компоненти, сценарийни тестове и тестове от край до край
- Създаване на регресионни пакети и базови примери за еталон
- Интеграция с CI/CD за актуализации на модели на Ollama и автоматизирани контролни точки за валидиране
Наблюдаемост и мониторинг
- Структурирано логване, разпределени трасирания и идентификатори за корелация
- Ключови оперативни метрики: латентност, използване на токени, честота на грешки и сигнали за качество
- Известяване, табла за управление и SLIs/SLOs за услуги, поддържани от модели
Разширен анализ на първопричините
- Трасиране през графични подкани, извиквания на инструменти и многоходови потоци
- Сравнителна A/B диагностика и аблационни изследвания
- Произход на данните, отстраняване на грешки в набори от данни и справяне с откази, предизвикани от данни
Стратегии за безопасност, устойчивост и отстраняване
- Мерки за смекчаване: филтриране, обосноваване, разширяване чрез извличане и скелетиране на промптове
- Стратегии за връщане назад, канарско внедряване и фазово пускане за актуализации на модели
- Анализ след инцидент, извлечени уроци и цикли на непрекъснато усъвършенстване
Обобщение и следващи стъпки
Изисквания
- Солиден опит в изграждането и внедряването на LLM приложения
- Запознатост с работните процеси на Ollama и хостването на модели
- Уверена работа с Python, Docker и основни инструменти за наблюдаемост
Целева аудитория
- AI инженери
- ML Ops специалисти
- QA екипи, отговарящи за продукционни LLM системи
35 Часа