Свържете се с нас

Съдържание и теми, включени в курса

Въведение в LLMOps

  • LLMOps срещу MLOps: уникалните предизвикателства при работа с LLM
  • Животният цикъл на LLM приложения: промпт, оценка, внедряване, наблюдение
  • Контролен списък за готовност на производствени GenAI приложения

Управление на промптове и версионирани версии

  • Системи за темплейтиране на промптове и инжектиране на променливи
  • Семиотично версиониране на промптове с автоматизирано регресивно тестване
  • Регистри на промптове и работни процеси за сътрудничество

Оценка на LLM мащабируемо

  • Измервания: точност, релевантност, безопасност, обоснованост
  • Mетрики LLM като судия и човешки оценки тръбопроводи
  • Автоматизирани eval рамки: RAGAS, DeepEval и потребителски evaluators
  • Качествени врати в CI/CD за LLM внедрявания

Защитни механизми и управление на съдържанието

  • Входни и изходни защитни механизми: NeMo Guardrails и Guardrails AI
  • Обнаружение на PII, филтриране на токсичност и граници на темите
  • Стратегии за защита от jailbreak и prompt injection
  • Red-teaming на LLM приложения за гарантирана безопасност

Наблюдаемост и мониторинг на LLM

  • Телеметрия: използване на токени, забавяне, разходи и метрики за качество
  • Обнаружаване на дрейф в изходите на LLM и embedding пространства
  • Проследяване на ниво сесия за многостъпкови агентни разговори
  • Табло и известия с LangSmith, Arize и OpenTelemetry

AI Гейтуе и оркестриране на модели

  • Маршрутизиране между много доставчици чрез LiteLLM и Portkey
  • Стратегии за fallback, логика за повторен опит и breakers
  • Различно ориентирано избиране на модели и товарно балансиране
  • Ограничение на честотата, управление на лимитите и governance на API ключове

Оптимизация на производителността

  • Семантично кеширане с vector stores и точни съвпадения стратегии
  • Принудително структурирано изходно формиране чрез ограничено декодиране
  • Batching, streaming и concurrency модели
  • Оптимизация на забавянето между доставчиците на модели

Управление, съответствие и одит

  • LLM audit trails: логове на промптове, логове на отговори и происходност на решенията
  • Резиденция на данните и разглеждания за поверителност за LLM APIs
  • Политики като код за използването на LLM в организации
  • Изграждане на вътрешен playbook за LLMOps операции

Изисквания

  • Опит във строителството или интегрирането на приложения базирани на LLM.
  • Запознатост с Python и REST APIs.
  • Базово разбиране на концепциите за промпт инжинерство.

Аудитория

  • ML инженери и MLOps практики преминаващи към LLM операции.
  • Платформени инженери отговорни за инфраструктура на LLM.
  • Технически лидери управляващи производствени GenAI внедрявания.
 14 Часа

Брой участници


Цена за участник

Отзиви от участници (2)

Предстоящи Курсове

Свързани Kатегории