Стэнфордские исследователи показали, что выводы о языковых моделях быстро устаревают
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Оценка модели — это не вечное свойство технологии: повторные измерения на новых версиях помогают отличать устойчивые закономерности от уже исчезнувших ограничений.
Группа исследователей под руководством Джеймса Зоу повторно проверила 50 широко цитируемых выводов о языковых моделях на 20 моделях восьми разработчиков, выпущенных с июля 2024 по сентябрь 2026 года. По итогам проверки большинство утверждений в течение 15 месяцев после публикации либо переставало воспроизводиться, либо демонстрировало заметно более слабый эффект. Примером служит известный результат о 55% выдуманных литературных ссылок у GPT-3.5: современные GPT-6.1-Sol и Claude Sonnet 5.5 на тех же запросах редко создавали такие ссылки, хотя отдельные модели продолжали ошибаться. Исследование охватывало подхалимаж, обход ограничений, длинный контекст и культурные предубеждения и показывает, что результат измерения нужно связывать с конкретным поколением моделей.
Источники 1