Все новости

XYBench проверяет, замечают ли модели ошибочную посылку вопроса

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Модели умеют распознать полезный совет при выборе из вариантов заметно лучше, чем самостоятельно понять скрытую цель пользователя и изменить направление ответа.

Allen Institute for AI совместно с Carnegie Mellon, NVIDIA и Johns Hopkins выпустил набор из 8115 вопросов о программировании и повседневных задачах, где буквальный запрос Y не ведёт к действительной цели X. Метрики отдельно оценивают наличие решения для цели, акцент ответа и способность модели указать на ошибочное допущение. Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro чаще отвечали на исходный запрос, чем на лежащую за ним задачу. На вопросах Stack Overflow модели сосредоточились на реальной цели лишь в 35–41% ответов против 55% у лучших человеческих ответов, хотя при выборе из двух готовых вариантов правильный целевой ответ они узнавали в 71–84% случаев. Явное сообщение цели улучшало одни показатели, но не устраняло разрыв. XYBench получил награду Best Resource Paper Award на EMNLP 2026.

Источники 2