Все новости

AWS открыла UAEF с 36 метриками для сравнения ИИ-агентов на разных фреймворках

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Команды могут проверять, действительно ли новая модель, инструкция или инструмент улучшила агента, а не пересобирать метрики под каждый фреймворк.

Universal Agent Evaluation Framework переводит трассировки LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore и Langfuse в единый формат AgentTrace и оценивает их одинаково независимо от исходного SDK. Встроенные 36 метрик охватывают вызовы инструментов, качество ответа, безопасность, производительность, многоходовые диалоги, координацию агентов и рассуждения. Есть детерминированные оценки и проверка моделью-судьёй, которая обязана ссылаться на точный фрагмент ответа. UAEF сохраняет эксперименты в DynamoDB и S3, сравнивает версии с базовой и классифицирует регрессии по величине: от 5% до более чем 20%. Библиотека Python и развёртываемый веб-интерфейс используют один движок, поддерживают редактирование персональных данных и интеграции RAGAS и DeepEval. Проект открыт под Apache 2.0; клиенты из 12 организаций в телекоме, медицине и финансах уже применяли его перед выпуском новых версий агентов.

Источники 1