Все новости

CloudOpsBench показал, что лучшие агенты решают не более 60% задач по управлению облаком

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Прежде чем доверять агентам самостоятельное управление облаком, нужно проверять не только знание команд, но и полноту рассуждения и последствия каждого действия.

Открытый бенчмарк CloudOpsBench 1.0 содержит 45 задач в AWS: восстановление сервисов, удаление ресурсов, ограничение прав, развёртывание обновлений и вывод проектов из эксплуатации. Claude Fable 5.1 выполнил 60% заданий, GPT-6 Astra — 53%. Команда под руководством Ан Чена из Мичиганского университета относит около 80% неудач к ошибкам рассуждения: агенты неверно определяют границы задачи, проверяют не все сервисы или останавливаются слишком рано. Примерно 20% ошибок составляют неправильные действия, некоторые с необратимыми последствиями для инфраструктуры. Задачи одинаково работают в реальном AWS и эмуляторе, код распространяется по лицензии Apache 2.0.

Источники 1