Все новости

Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Проверять мощные модели доверили небольшим независимым группам, но кто и как будет им платить и что они смогут видеть, пока неясно.

По данным CNBC, Anthropic и OpenAI обращаются к небольшим сторонним организациям — METR, Apollo Research и Transluce, — после того как Дарио Амодеи в прошлом месяце пообещал встроить независимых оценщиков в компанию. Не решено, кто будет их финансировать, какой доступ они получат и как будет устроена отчётность. METR, по её объявлению в августе, привлекла обязательства примерно на $71 млн за полгода против $13,6 млн за весь 2024 год; в штате METR менее 50 человек. Генеральный директор Vals AI Раян Кришнан сказал CNBC, что его компания выросла с восьми до примерно 30 сотрудников за год. OpenAI заявила, что «завершает контракты» со сторонними оценщиками и объявит подробности в ближайшие недели; профессор Брауновского университета Сурэш Венкатасубраманиан сказал CNBC: «проблема, как всегда, в деньгах».

Источники 1

История

Внешние проверяющие ИИ-лабораторий

8 событий
  1. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  2. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  3. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
  4. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
  5. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансированияОткрыто сейчас
  6. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  7. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  8. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников
Подписаться в Telegram