Nvidia показала метод, снижающий успех атак «скрытыми командами» на ИИ-ассистентов с 38,1% до 0,1% на одном тесте
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Исследователи нашли способ, который почти полностью останавливает один вид обмана ИИ-ассистентов через скрытые команды в тексте, но он работает только с открытыми моделями.
По описанию Nvidia, метод NXDirection вычитает из внутренних активаций модели «направление инструкций» в токенах недоверенного внешнего контента, чтобы ассистент читал письмо, страницу или документ как данные, а не как команды. На девяти открытых моделях доля успешных атак на тесте BIPIA упала с 38,1% до 0,1% (полезность на обычных задачах — с 78,4% до 76,4%, по AI Weekly), на тесте AgentDojo с инструментами — с 28,4% до 3,7%; у некоторых моделей на отдельных задачах остаточная доля успешных атак доходила до 13,1%. Метод требует доступа к скрытым состояниям модели, поэтому подходит только для открытых или собственных развёртываний, но не для закрытых API. Nvidia называет его «многообещающей защитой, а не гарантией»; результаты — данные авторов.
Источники 2