Goodfire представила мониторы «изнутри» для вышедших из-под контроля ИИ-агентов — дешевле проверки их ответов
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
За ИИ-агентами можно следить дешевле, заглядывая в работу модели, а не только читая ответы; как это покажет себя вне тестов компании, пока неясно.
По данным TechCrunch, мониторы Goodfire читают внутренние сигналы модели небольшими «пробниками» и отправляют подозрительное на проверку второй ИИ-системе; реакцией могут быть запись в журнал, проверка человеком или отказ в запросе. По словам компании, проверка около 1500 сессий обошлась примерно в $51 против $233 у более дешёвых вариантов и $10 тысяч у дорогих; с четырьмя пробниками добавляется менее 2% задержки. В тестах с моделью Kimi K3, по данным Goodfire, пойманы 94% вредоносных сессий взлома при 8,7% безобидных, отправленных на проверку. Мониторы доступны через платформу Baseten.
Источники 1