Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Въведение и основни диагностики
- Преглед на режими на срив в системи с голям езиков модел и общи проблеми специфични за Ollama
- Създаване на възпроизводими експерименти и контролирани среди
- Инструменти за отстраняване на грешки: местни регистри, захвати на заявки/отговори и изолация
Възпроизвеждане и изолиране на сривове
- Техники за създаване на минимални примери за срив и семена
- Състоятелни vs. безсъстоятелни взаимодействия: изолиране на грешки, свързани с контекста
- Детерминизъм, случайност и контрол на недетерминистично поведение
Оценка на поведението и метрики
- Количествени метрики: точност, варианти на ROUGE/BLEU, калибриране и прокси за перплексия
- Качествени оценки: оценяване с човешка интеракция и дизайн на реперна таблица
- Проверки за специфичното изпълнение на задачите и критерии за приемане
Автоматизирано тестване и регресия
- Единични тестове за подсказки и компоненти, тестове на сценарии и от краят на края
- Създаване на набори за регресионни тестове и базисни линии за златни примерци
- Интеграция с CI/CD за обновления на модели на Ollama и автоматични портали за валидация
Наблюдаемост и мониторинг
- Структурирано записване, разпределени следи и идентификатори за корелация
- Ключови операционни метрики: закъснение, използване на токени, ставки на грешки и сигнали за качество
- Уведомяване, таблота и SLIs/SLOs за услуги, подкрепени от модели
Напреднала анализа на причините
- Следене през графирани подсказки, извиквания на инструменти и многократни потоки
- Сравнителна диагностика A/B и изчиствателни изследвания
- Произход на данните, отстраняване на грешки в набор от данни и адресиране на сривове, индуцирани от набор от данни
Сигурност, устойчивост и стратегии за поправка
- Методи за намаляване на въздействие: филтриране, основаване, допълнително извличане и изграждане на подсказки
- Връщане, канар и фазов модел за обновления на модели
- Пост-анализа, извличане на уроци и непрекъснати цикли на подобрение
Резюме и следващи стъпки
Изисквания
- Значителна опитност в изграждане и развертане на приложения с големи езикови модели (LLM)
- Знание на процесите на Ollama и хостинг на модели
- Удобство с Python, Docker и основни инструменти за наблюдение
Целева аудитория
- Инженери по изкуствен интелигент
- Професионалисти в ML Ops
- Екипи за контрол на качеството, отговорни за продукционни LLM системи
35 часа