Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Основи на дебъгването и оценката с Mastra
- Разбиране на модели на поведение на агентите и режими на отказ
- Основни принципи на дебъгване в Mastra
- Оценка на детерминирани и недетерминирани действия на агенти
Настройка на среди за тестване на агенти
- Конфигуриране на тестови пясъчници и изолирани пространства за оценка
- Улавяне на логове, трасирания и телеметрия за подробен анализ
- Подготовка на набори от данни и промптове за структурирано тестване
Дебъгване на поведението на AI агенти
- Проследяване на пътища за вземане на решения и вътрешни сигнали за разсъждение
- Идентифициране на халюцинации, грешки и непредвидено поведение
- Използване на табла за наблюдаемост за разследване на основните причини
Метрики за оценка и рамки за бенчмаркинг
- Дефиниране на количествени и качествени метрики за оценка
- Измерване на точност, последователност и контекстуално съответствие
- Прилагане на бенчмарк набори от данни за повтаряема оценка
Инженеринг на надеждността за AI агенти
- Проектиране на тестове за надеждност за дългосрочно работещи агенти
- Откриване на отклонения и влошаване на производителността на агентите
- Внедряване на предпазни механизми за критични работни потоци
Процеси за осигуряване на качеството и автоматизация
- Изграждане на потоци за осигуряване на качеството за непрекъсната оценка
- Автоматизиране на регресионни тестове за актуализации на агенти
- Интегриране на осигуряването на качеството с CI/CD и корпоративни работни потоци
Напреднали техники за намаляване на халюцинациите
- Стратегии за създаване на промптове за намаляване на нежелани резултати
- Цикли за валидация и механизми за самопроверка
- Експериментиране с комбинации от модели за подобряване на надеждността
Докладване, мониторинг и непрекъснато подобрение
- Разработване на доклади за осигуряване на качеството и карти с резултати на агентите
- Мониторинг на дългосрочно поведение и модели на грешки
- Итерация върху рамки за оценка за развиващи се системи
Обобщение и следващи стъпки
Изисквания
- Разбиране на поведението на AI агенти и взаимодействията между модели
- Опит с дебъгване или тестване на сложни софтуерни системи
- Запознатост с инструменти за наблюдаемост или логване
Аудитория
- Инженери по осигуряване на качеството
- Инженери по надеждност на AI
- Разработчици, отговорни за качеството и ефективността на агенти
21 Часа