Все новости

Оценщики OpenAI получили доступ лишь к части моделей, критики сочли его слабее обещанного

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Внешняя проверка OpenAI ограничена: оценщики видят лишь часть моделей, общаются с заранее согласованными сотрудниками и публикуют результаты после редактирования.

Сотрудники четырёх организаций по безопасности ИИ стали «встроенными оценщиками» OpenAI и получили доступ к части внутренних моделей, процессов обучения и сотрудников. Анонс прошёл на конференции Semafor, детали и критику опубликовало NPR 18 ноября. Оценщики смогут публиковать результаты после редактирования конфиденциальных данных. Apollo Research описывает доступ к сотрудникам как узкий — только к заранее согласованным контактам. Исследовательница Sydney Von Arx из Nightingale и бывший сотрудник OpenAI Tomek Korbak заявляют, что это слабее обещанного в сентябре «доступа на уровне сотрудника». Они также указывают на отсутствие доступа к внутреннему Slack. OpenAI в лице Gaby Raila отвечает, что стандартов встроенной оценки пока нет.

Источники 1

История

Внешние проверяющие ИИ-лабораторий

10 событий
  1. Оценщики OpenAI получили доступ лишь к части моделей, критики сочли его слабее обещанногоОткрыто сейчас
  2. METR оценила ускорение разработки моделей Anthropic примерно вдвое с помощью самого ИИ
  3. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  4. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  5. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
  6. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
  7. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
  8. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  9. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  10. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников