План на курса

Основи на Маstra за отстраняване на грешки и оценка

  • Разбиране на модели за поведение на агентите и режими на съществуване при неуспешни операции
  • Основни принципи за отстраняване на грешки в Маstra
  • Оценка на детерминирани и не-детерминирани действия на агентите

Настройване на среди за тестване на агенти

  • Конфигуриране на тестови песочни купичини и изолирани пространства за оценка
  • Запазване на логове, траси и телеметрически данни за детайлна анализа
  • Подготовка на набори от данни и подсказки за структурирано тестване

Отстраняване на грешки в поведението на AI агентите

  • Трассиране на пътища за вземане на решения и сигнали за внутренно разсъждаване
  • Идентифициране на халюцинации, грешки и непредвидени поведения
  • Използване на панелите за наблюдаемост за разследване на причината по възникването на проблеми

Метрики и рамкове за оценка с бенчмарки

  • Дефиниране на количествени и качествени метрики за оценка
  • Измерване на точност, последователност и съответствие в контекста
  • Применяване на набори от данни за бенчмарки за повторяема оценка

Инженерия на надеждността на AI агентите

  • Проектиране на тестови сценарии за длъжително работещи агенти
  • Детекция на извънредни ситуации и деградация в перформанса на агентите
  • Имплементация на защитни механизми за критични процеси

Процеси и автоматизация за контрол на качеството (QA)

  • Създаване на QA конвейорите за непрекъснато оценяване
  • Автоматизация на регресионните тестове при обновления на агентите
  • Интегриране на QA с CI/CD и корпоративни процеси

Продуктивни техники за намаляване на халюцинации

  • Стратегии за подсказки, за да се намали неприемливото поведение
  • Проверки и механизми за самоконтрол
  • Експерименти с комбинации на модели за подобряване на надеждността

Създаване, мониторинг и непрекъснато усъвършенстване на отчети

  • Разработване на отчети за контрола на качеството (QA) и карти на агентите
  • Мониторинг на долгосрочното поведение и шаблоните на грешки
  • Итерации върху рамковете за оценка при еволюцията на системите

Резюме и следващи стъпки

Изисквания

  • Разбираене на поведението на AI агенти и взаимодействията между модели
  • Опит с отстраняване на грешки или тестване на сложни софтуерни системи
  • Знайност за инструменти за наблюдаемост и логване

Публика

  • Инженери за контрол на качеството (QA)
  • Инженери за надеждността на AI
  • Разработчици, отговарящи за качеството и перформанса на агентите
 21 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории