Все новости

METR оценила ускорение разработки моделей Anthropic примерно вдвое с помощью самого ИИ

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Появилась редкая внутренняя оценка положительной обратной связи: ИИ уже помогает быстрее создавать следующие модели, хотя масштаб эффекта пока измерен с большой неопределённостью.

С августа по октябрь METR изучала внутренние метрики, интервью и данные Anthropic о предобучении, обучении с подкреплением и использовании ИИ сотрудниками. По индексу возможностей AECI, после октября 2025 года результаты моделей росли в 1,9 раза быстрее прежнего темпа; 95%-й доверительный интервал оценки — от 1,5 до 2,8. METR считает вероятным, что большая часть текущего ускорения связана с применением ИИ в исследованиях и разработке, но подчёркивает высокую неопределённость: правдоподобный диапазон общего ускорения простирается примерно от 1,3 до 3 раз. Исследователи не увидели убедительных узких мест в данных, алгоритмах или вычислениях, которые неизбежно остановили бы дальнейшее ускорение в ближайший год, но не считают этот вывод окончательным. Anthropic имела право удалять конфиденциальные сведения и скрыла большинство доказательств, которые METR называла наиболее информативными. Поэтому внешние читатели вынуждены сильнее полагаться на суждение авторов, а не самостоятельно проверять весь массив данных.

Источники 1

История

Внешние проверяющие ИИ-лабораторий

9 событий
  1. METR оценила ускорение разработки моделей Anthropic примерно вдвое с помощью самого ИИОткрыто сейчас
  2. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  3. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  4. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
  5. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
  6. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
  7. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  8. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  9. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников