Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Основи на Маstra за отстраняване на грешки и оценка
- Разбиране на модели за поведение на агентите и режими на съществуване при неуспешни операции
- Основни принципи за отстраняване на грешки в Маstra
- Оценка на детерминирани и не-детерминирани действия на агентите
Настройване на среди за тестване на агенти
- Конфигуриране на тестови песочни купичини и изолирани пространства за оценка
- Запазване на логове, траси и телеметрически данни за детайлна анализа
- Подготовка на набори от данни и подсказки за структурирано тестване
Отстраняване на грешки в поведението на AI агентите
- Трассиране на пътища за вземане на решения и сигнали за внутренно разсъждаване
- Идентифициране на халюцинации, грешки и непредвидени поведения
- Използване на панелите за наблюдаемост за разследване на причината по възникването на проблеми
Метрики и рамкове за оценка с бенчмарки
- Дефиниране на количествени и качествени метрики за оценка
- Измерване на точност, последователност и съответствие в контекста
- Применяване на набори от данни за бенчмарки за повторяема оценка
Инженерия на надеждността на AI агентите
- Проектиране на тестови сценарии за длъжително работещи агенти
- Детекция на извънредни ситуации и деградация в перформанса на агентите
- Имплементация на защитни механизми за критични процеси
Процеси и автоматизация за контрол на качеството (QA)
- Създаване на QA конвейорите за непрекъснато оценяване
- Автоматизация на регресионните тестове при обновления на агентите
- Интегриране на QA с CI/CD и корпоративни процеси
Продуктивни техники за намаляване на халюцинации
- Стратегии за подсказки, за да се намали неприемливото поведение
- Проверки и механизми за самоконтрол
- Експерименти с комбинации на модели за подобряване на надеждността
Създаване, мониторинг и непрекъснато усъвършенстване на отчети
- Разработване на отчети за контрола на качеството (QA) и карти на агентите
- Мониторинг на долгосрочното поведение и шаблоните на грешки
- Итерации върху рамковете за оценка при еволюцията на системите
Резюме и следващи стъпки
Изисквания
- Разбираене на поведението на AI агенти и взаимодействията между модели
- Опит с отстраняване на грешки или тестване на сложни софтуерни системи
- Знайност за инструменти за наблюдаемост и логване
Публика
- Инженери за контрол на качеството (QA)
- Инженери за надеждността на AI
- Разработчици, отговарящи за качеството и перформанса на агентите
21 часа