Все новости

METR оценила горизонт задач фронтирных моделей в 27 часов на наборе TH2

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Модели уже решают многочасовые задачи, но рои агентов ускоряют работу только там, где результат можно быстро проверить.

METR выпустил обновление за IV квартал 2026 года с оценками 15 публичных моделей вплоть до Opus 5.5 и GPT-6 Astra. На верифицируемом подмножестве новых задач TH2 оценённый горизонт времени у фронтирных моделей достигает 27 часов. На MirrorCode Opus 5.5 решает 77% средних и крупных программ, а GPT-6 Astra набирает 98% на FrontierMath Tier 4. На 15 конкурсах Al Zimmermann медианное место сильнейших моделей — 96–98-й процентиль людей, но абсолютные лидеры-люди всё ещё впереди. На Budget NanoGPT лучший прогон агента дал ускорение 15,7% за 48 часов против 41% у сильнейшей записи человека. По выводу авторов, публичных свидетельств недостаточно, чтобы исключить резкое ускорение ИИ-R&D в ближайшие пару лет. Введены новые метрики — METR Capability Index и Lifecycle Cost (прокси стоимости RL-среды). Рои агентов (agent swarms) помогают только на верифицируемых задачах с быстрой обратной связью.

Источники 1

История

Внешние проверяющие ИИ-лабораторий

11 событий
    1. METR оценила горизонт задач фронтирных моделей в 27 часов на наборе TH2Открыто сейчас
    1. Оценщики OpenAI получили доступ лишь к части моделей, критики сочли его слабее обещанного
    1. METR оценила ускорение разработки моделей Anthropic примерно вдвое с помощью самого ИИ
    1. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
    1. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
    1. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
    1. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
    1. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
    1. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
    1. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
    2. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников