StateBench показал, где длинный контекст перестаёт помогать моделям отслеживать изменения
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Большое окно контекста само по себе не гарантирует, что модель правильно проследит длинную цепочку изменений; архитектура памяти и обучение остаются решающими.
Allen Institute for AI разделил задачи на четыре уровня: от неизменяемых значений и простой перезаписи до накопления изменений и ссылок между переменными. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna хорошо справлялись с первыми двумя уровнями, но на сложных задачах точность падала по мере роста входа — до 13% и ниже на самых длинных цепочках. При целевом обучении небольших моделей гибридные архитектуры и Gated DeltaNet обобщали простые и средние уровни на последовательности из десятков тысяч присваиваний; трансформеры так и не освоили самый сложный уровень. Результаты различают объём контекста и способность последовательно обновлять состояние объектов.
Источники 1