Тест «Шестое чувство человечества»: лучшая модель решает 53,6% задач на неявное понимание сцены, люди — 93,1%
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модели пока сильно уступают людям в понимании «очевидного» по картинке и видео.
Scale AI и Elorian представили бенчмарк Humanity's Sixth Sense из 522 задач (288 изображений и 234 видеоклипа общей длиной 17,6 часа) на неявные выводы из сцены: временные и причинные связи, физику и пространство, социальное понимание, абстрактные и контекстные выводы; ответы оценивают по рубрикам, составленным людьми. По данным авторов, GPT 6 Astra проходит 53,6% задач, Claude Opus 5.5 — 44,6%, Gemini 3.8 Flash — 41,6%, медиана моделей — 30,9%, люди — 93,1%. По разбору авторов, 94% ошибок связаны с восприятием или выводом, а не с рассуждением (53% — восприятие, 41% — вывод). Import AI добавляет, что открытые китайские модели отстают сильнее: GLM-5.3-flash проходит 26,8%.
Источники 2