METR оценила горизонт задач фронтирных моделей в 27 часов на наборе TH2
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модели уже решают многочасовые задачи, но рои агентов ускоряют работу только там, где результат можно быстро проверить.
METR выпустил обновление за IV квартал 2026 года с оценками 15 публичных моделей вплоть до Opus 5.5 и GPT-6 Astra. На верифицируемом подмножестве новых задач TH2 оценённый горизонт времени у фронтирных моделей достигает 27 часов. На MirrorCode Opus 5.5 решает 77% средних и крупных программ, а GPT-6 Astra набирает 98% на FrontierMath Tier 4. На 15 конкурсах Al Zimmermann медианное место сильнейших моделей — 96–98-й процентиль людей, но абсолютные лидеры-люди всё ещё впереди. На Budget NanoGPT лучший прогон агента дал ускорение 15,7% за 48 часов против 41% у сильнейшей записи человека. По выводу авторов, публичных свидетельств недостаточно, чтобы исключить резкое ускорение ИИ-R&D в ближайшие пару лет. Введены новые метрики — METR Capability Index и Lifecycle Cost (прокси стоимости RL-среды). Рои агентов (agent swarms) помогают только на верифицируемых задачах с быстрой обратной связью.
Источники 1