Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Въведение в LLMOps
- LLMOps срещу MLOps: уникалните предизвикателства при работа с LLM
- Животният цикъл на LLM приложения: промпт, оценка, внедряване, наблюдение
- Контролен списък за готовност на производствени GenAI приложения
Управление на промптове и версионирани версии
- Системи за темплейтиране на промптове и инжектиране на променливи
- Семиотично версиониране на промптове с автоматизирано регресивно тестване
- Регистри на промптове и работни процеси за сътрудничество
Оценка на LLM мащабируемо
- Измервания: точност, релевантност, безопасност, обоснованост
- Mетрики LLM като судия и човешки оценки тръбопроводи
- Автоматизирани eval рамки: RAGAS, DeepEval и потребителски evaluators
- Качествени врати в CI/CD за LLM внедрявания
Защитни механизми и управление на съдържанието
- Входни и изходни защитни механизми: NeMo Guardrails и Guardrails AI
- Обнаружение на PII, филтриране на токсичност и граници на темите
- Стратегии за защита от jailbreak и prompt injection
- Red-teaming на LLM приложения за гарантирана безопасност
Наблюдаемост и мониторинг на LLM
- Телеметрия: използване на токени, забавяне, разходи и метрики за качество
- Обнаружаване на дрейф в изходите на LLM и embedding пространства
- Проследяване на ниво сесия за многостъпкови агентни разговори
- Табло и известия с LangSmith, Arize и OpenTelemetry
AI Гейтуе и оркестриране на модели
- Маршрутизиране между много доставчици чрез LiteLLM и Portkey
- Стратегии за fallback, логика за повторен опит и breakers
- Различно ориентирано избиране на модели и товарно балансиране
- Ограничение на честотата, управление на лимитите и governance на API ключове
Оптимизация на производителността
- Семантично кеширане с vector stores и точни съвпадения стратегии
- Принудително структурирано изходно формиране чрез ограничено декодиране
- Batching, streaming и concurrency модели
- Оптимизация на забавянето между доставчиците на модели
Управление, съответствие и одит
- LLM audit trails: логове на промптове, логове на отговори и происходност на решенията
- Резиденция на данните и разглеждания за поверителност за LLM APIs
- Политики като код за използването на LLM в организации
- Изграждане на вътрешен playbook за LLMOps операции
Изисквания
- Опит във строителството или интегрирането на приложения базирани на LLM.
- Запознатост с Python и REST APIs.
- Базово разбиране на концепциите за промпт инжинерство.
Аудитория
- ML инженери и MLOps практики преминаващи към LLM операции.
- Платформени инженери отговорни за инфраструктура на LLM.
- Технически лидери управляващи производствени GenAI внедрявания.
14 Часа
Отзиви от участници (2)
употреба на правилни и ефективни промптове
Marses Pacaldo
Курс - Generative AI and Prompt Engineering for Corporate Professionals
Машинен превод
Интерактивният стил, упражненията
Tamas Tutuntzisz
Курс - Introduction to Prompt Engineering
Машинен превод