Свържете се с нас

Съдържание и теми, включени в курса

Основи на дебъгването и оценката с Mastra

  • Разбиране на модели на поведение на агентите и режими на отказ
  • Основни принципи на дебъгване в Mastra
  • Оценка на детерминирани и недетерминирани действия на агенти

Настройка на среди за тестване на агенти

  • Конфигуриране на тестови пясъчници и изолирани пространства за оценка
  • Улавяне на логове, трасирания и телеметрия за подробен анализ
  • Подготовка на набори от данни и промптове за структурирано тестване

Дебъгване на поведението на AI агенти

  • Проследяване на пътища за вземане на решения и вътрешни сигнали за разсъждение
  • Идентифициране на халюцинации, грешки и непредвидено поведение
  • Използване на табла за наблюдаемост за разследване на основните причини

Метрики за оценка и рамки за бенчмаркинг

  • Дефиниране на количествени и качествени метрики за оценка
  • Измерване на точност, последователност и контекстуално съответствие
  • Прилагане на бенчмарк набори от данни за повтаряема оценка

Инженеринг на надеждността за AI агенти

  • Проектиране на тестове за надеждност за дългосрочно работещи агенти
  • Откриване на отклонения и влошаване на производителността на агентите
  • Внедряване на предпазни механизми за критични работни потоци

Процеси за осигуряване на качеството и автоматизация

  • Изграждане на потоци за осигуряване на качеството за непрекъсната оценка
  • Автоматизиране на регресионни тестове за актуализации на агенти
  • Интегриране на осигуряването на качеството с CI/CD и корпоративни работни потоци

Напреднали техники за намаляване на халюцинациите

  • Стратегии за създаване на промптове за намаляване на нежелани резултати
  • Цикли за валидация и механизми за самопроверка
  • Експериментиране с комбинации от модели за подобряване на надеждността

Докладване, мониторинг и непрекъснато подобрение

  • Разработване на доклади за осигуряване на качеството и карти с резултати на агентите
  • Мониторинг на дългосрочно поведение и модели на грешки
  • Итерация върху рамки за оценка за развиващи се системи

Обобщение и следващи стъпки

Изисквания

  • Разбиране на поведението на AI агенти и взаимодействията между модели
  • Опит с дебъгване или тестване на сложни софтуерни системи
  • Запознатост с инструменти за наблюдаемост или логване

Аудитория

  • Инженери по осигуряване на качеството
  • Инженери по надеждност на AI
  • Разработчици, отговорни за качеството и ефективността на агенти
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории