Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 21 часa
Съдържание и теми, включени в курса
Основни принципи на отстраняването на неизправности и оценката с Mastra
- Разбиране на моделите за поведение на агентите и режимите на неизправност
- Основни принципи за отстраняване на неизправности в Mastra
- Оценка на детерминистични и недетерминистични действия на агентите
Подготвяне на среди за тестване на агентите
- Конфигуриране на тестови песъчници и изолирани пространства за оценка
- Записване на дневници, следи и телеметрия за подробно анализиране
- Подготовка на数据集 и промптове за структурирано тестване
Отстраняване на неизправности в поведението на AI агентите
- Проследяване на пътищата на вземане на решения и сигналите за вътрешно разсъждение
- Идентифициране на халюцинации, грешки и нежелани поведения
- Използване на табла за наблюдаемост за анализ на коренните причини
Метрики за оценка и рамки за бенчмаркиране
- Определяне на количествени и качествени метрики за оценка
- Измерване на точността, последователността и контекстуалното спазване
- Прилагане на бенчмарк данни за повторяема оценка
Инженеринг за надеждност на AI агентите
- Проектиране на тестове за надеждност за агенти с дълго траене
- Обезпечаване на дрейф и влошаване на производителността на агентите
- Внедряване на предпазни механизми за критични работни процеси
Процеси и автоматизация на контрола на качеството
- Създаване на конвейери за QA за непрекъсната оценка
- Автоматизиране на регресионни тестове за обновления на агентите
- Интегриране на QA с CI/CD и корпоративни работни процеси
Разширени техники за намаляване на халюцинациите
- Стратегии за промптиране за намаляване на нежеланите изходи
- Пети за валидация и механизми за самопроверка
- Експериментиране с комбинации от модели за подобрение на надеждността
Отчети, мониторинг и непрекъснато подобряване
- Разработване на отчети за QA и карти на резултатите от агентите
- Мониторинг на дългосрочното поведение и моделите на грешки
- Итеративно подобряване на рамките за оценка за развиващи се системи
Резюме и следващи стъпки
Изисквания
- Разбиране на поведението на AI агентите и взаимодействието на моделите
- Опит с отстраняване на неизправности или тестване на сложни софтуерни системи
- Знакомство с инструменти за наблюдаемост или журналиране
Аудитория
- Инженери по контрол на качеството
- Инженери по надеждност на AI
- Разработчици, отговорни за качеството и производителността на агентите
