Все новости

METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Независимые проверяющие предлагают, как публике узнавать о риске потери контроля над ИИ, но компании пока ничего не приняли.

METR, собирающая доказательства о том, смогут ли люди потерять контроль над ИИ-агентами в больших масштабах, описала, как работает с ИИ-компаниями: цель — давать публике точные, своевременные и независимые данные; основной метод — собирать и публиковать доказательства, а также комментировать неопубликованные чувствительные сведения и рецензировать отчёты о рисках. Одновременно METR выложила предложения по оценкам: как проверить контроль и мониторинг внутренних ИИ-агентов, согласованность ещё не выпущенных моделей и признаки ускорения от автоматизации ИИ-исследований, а также как информировать публику о рисках потери контроля. Это предложения организации, а не принятые решения компаний.

История

Внешние проверяющие ИИ-лабораторий

8 событий
  1. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  2. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  3. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
  4. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторийОткрыто сейчас
  5. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
  6. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  7. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  8. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников
Подписаться в Telegram