Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 35 часa
Съдържание и теми, включени в курса
Въведение и fundamentи за диагностика
- Преглед на режимите на повреда в системите с LLM и често срещани специфични проблеми с Ollama
- Установяване на възпроизводимите експерименти и контролирани среди
- Инструменти за отстраняване на грешки: локални дневници, записи на заявки/отговори и изолирани среди (sandboxing)
Възпроизвеждане и изолиране на повреди
- Техники за създаване на минимални примери за повреда и начални точки
- Взаимодействия със състояни и без такова: изолиране на бъгове, свързани с контекста
- Детерминизъм, случайност и контрол на недетерминистичното поведение
Поведенческа оценка и метрики
- Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и проксими на недокументираност (perplexity)
- Качествени оценки: оценка с човешка участ и дизайн на критерии
- Проверки за вярност, специфични за дадената задача, и критерии за приемане
Автоматизирано тестване и регресия
- Модулни тестове за промптове и компоненти, сценарийни и крайни тестове (end-to-end)
- Създаване на регресионни набори от тестове и базови примери (golden examples)
- Интеграция с CI/CD за актуализации на модели Ollama и автоматизирани контролни точки за валидация
Наблюдаемост и мониторинг
- Структурирано журналиране, разпределени проследявания (distributed traces) и идентификатори за корелация
- Ключови оперативни метрики: латентност, използване на токове, ставки на грешките и сигнали за качество
- Аларми, таблони за управление (dashboards) и SLI/SLO за услуги, поддържани от модели
Разширен анализ на коренните причини
- Проследяване през графични промптове, повиквания на инструменти и мулти-ходови потоци
- Сравнителна A/B диагностика и ablation studies
- Произход на данните, отстраняване на грешки в данните и справяне с повреди, причинени от данните
Безопасност, устойчивост и стратегии за коригиране
- Митигация: филтриране, основяване (grounding), разширяване чрез извлечение (retrieval augmentation) и структурни рамки за промптове
- Модели за отмяна (rollback), canary и поетапно разгръщане при актуализация на модели
- Пост-мортеми, извлечени уроци и цикли за постоянно подобряване
Обобщение и следващи стъпки
Изисквания
- Силен опит в изграждането и разгръщането на приложения с големи езикови модели (LLM)
- Знакомство с процесите на Ollama и хостирането на модели
- Уверено владеене на Python, Docker и основни инструменти за наблюдаемост
Целева аудитория
- Инженери по изкуствен интелект
- Професионалисти по ML Ops
- Екипи за контрол на качеството, отговорни за продукционни системи с LLM