Redwood Research предложила проверять системы надзора за ИИ-агентами в симуляции: ошибка прогноза 3,6 п.п. против 10,1 у обычного теста
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Исследователи предлагают дешёвый способ проверять, заметит ли надзор опасные действия агента, не запуская настоящие атаки; метод проверили лишь сами авторы.
Redwood Research описала метод «симулированных оценок контроля» (SCE): вместо запуска атак на настоящих системах языковая модель-симулятор пишет правдоподобные ответы инструментов по записи работы и коду разработчика, а модель-судья решает, удалась бы атака, — так проверяют, заметит ли система мониторинга вредоносные действия ИИ-агента. По данным авторов, ошибка предсказания показателей безопасности составила 3,6 процентного пункта против 10,1 у обычного теста BashArena, а сходство поведения модели в симуляции и в реальных условиях оказалось на порядок лучше. Метод объяснил 95% различий в безопасности между категориями задач и 78% между средами; чтобы превзойти прогноз BashArena, хватило 4,6% образцов реальных задач. Результаты получены самими авторами.
Источники 1