Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 35 часa
Съдържание и теми, включени в курса
Въведение и основи на диагностиката
- Преглед на режимите на отказ в LLM системите и често срещани проблеми, специфични за Ollama
- Създаване на възпроизводими експерименти и контролирани среди
- Набор от инструменти за отстраняване на грешки: локални логове, заснемане на заявки/отговори и изолирани среди
Възпроизвеждане и изолиране на откази
- Техники за създаване на минимални примери за отказ и начални стойности
- Взаимодействия със и без запазване на състоянието: изолиране на грешки, свързани с контекста
- Детерминизъм, случайност и контролиране на недетерминирано поведение
Поведенческа оценка и метрики
- Количествени метрики: точност, ROUGE/BLEU варианти, калибриране и приближения на perplexity
- Качествени оценки: оценяване с участието на човек и проектиране на критерии
- Проверки за точност, специфични за задачата, и критерии за приемане
Автоматизирано тестване и регресия
- Модулни тестове за промптове и компоненти, сценарийни и тестове от край до край
- Създаване на регресионни пакети и базови примери за сравнение
- CI/CD интеграция за актуализации на модели с Ollama и автоматизирани контролни точки за валидиране
Наблюдаемост и мониторинг
- Структурирано логване, разпределени проследявания и корелационни идентификатори
- Ключови оперативни метрики: латентност, използване на токени, нива на грешки и сигнали за качество
- Известия, табла за управление и SLI/SLO за услуги, поддържани от модели
Разширен анализ на първопричините
- Проследяване през свързани промптове, извиквания на инструменти и многоетапни потоци
- Сравнителна A/B диагностика и аблационни изследвания
- Произход на данните, отстраняване на грешки в наборите от данни и справяне с откази, предизвикани от данните
Безопасност, устойчивост и стратегии за отстраняване
- Смекчаващи мерки: филтриране, обосноваване, разширяване с извличане и скелет на промпта
- Модели за връщане назад, канарчета и поетапно внедряване на актуализации на модели
- Посмъртни анализи, научени уроци и цикли за непрекъснато подобрение
Обобщение и следващи стъпки
Изисквания
- Солиден опит в изграждането и внедряването на LLM приложения
- Познаване на работните процеси с Ollama и хостването на модели
- Увереност при работа с Python, Docker и основни инструменти за наблюдаемост
Аудитория
- AI инженери
- ML Ops специалисти
- QA екипи, отговорни за продукционни LLM системи