Все новости

Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Внешние проверяющие впервые получают доступ к внутренним системам лаборатории почти как сотрудники; насколько это даёт честную картину, станет ясно, когда METR опубликует первые выводы.

По сообщению Anthropic, команда из шести сотрудников некоммерческой METR получила служебное оборудование, офис и доступ к внутренним инструментам примерно на уровне собственных групп компании по оценке рисков; за исключением узких категорий (данные клиентов, информация под адвокатской тайной, архитектура моделей) сотрудникам рекомендовано делиться сведениями с ними как с коллегами. METR сама опубликует оценку уровней риска, инцидентов и практик Anthropic; компания не может запретить публикацию, но вправе потребовать убрать сведения из заранее определённых категорий, а METR разрешено публично описывать такие правки. Anthropic сравнивает схему с резидентами-инспекторами в крупных банках. По данным TechCrunch и CNBC, это верхний из трёх уровней доступа: проверяющие нижнего уровня, как биологическая организация SecureBio, ведут узкие проверки (SecureBio разбирает раздел о химическом и биологическом оружии в августовском отчёте о рисках), среднего — публикуют без одобрения. CNBC уточняет, что Anthropic не финансирует работу METR. В записи компания называет также Accenture среди оценщиков и «ранние переговоры» в том числе с Hugging Face.

История

Внешние проверяющие ИИ-лабораторий

8 событий
  1. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  2. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  3. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласованияОткрыто сейчас
  4. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
  5. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
  6. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  7. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  8. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников
Подписаться в Telegram