Все новости

Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудников

Материал подготовлен Sintelligent с помощью ИИ. Время публикации восстановлено по журналу сборки. . Обновлено: .

Внешние проверяющие внутри лаборатории — способ доказать миру, что сильный ИИ можно строить прозрачно, не останавливая его развитие.

Работу возглавит Faculty — ИИ-подразделение Accenture, купленное в январе. Её специалисты будут наблюдать за обучением моделей, разбирать решения о выпуске, проводить атаки на модели и тесты на согласованность с целями людей, а об инцидентах смогут сообщать публично. Обе компании рассчитывают вложить не меньше чем по $1 млрд за пять лет; на первых порах работу Accenture оплачивает сама Anthropic, ссылаясь на то, что системы финансирования независимой оценки пока нет. Это первый практический шаг к обещанию из эссе Амодеи «Мы должны задать темп переднему краю». Соглашение неэксклюзивное: Anthropic ведёт переговоры и с некоммерческими оценщиками вроде METR. Акции Accenture после новости выросли на 8%.

История

Внешние проверяющие ИИ-лабораторий

8 событий
  1. METR и Redwood Research три недели проверяли систему мониторинга внутренних агентов OpenAI: по их оценке, 75–94% трафика подлежало мониторингу; OpenAI заявляет, что найденные уязвимости исправлены
  2. METR разобрала раздел отчёта Anthropic о рисках рассогласования: риск «низкий», но, по её оценке, из-за ограниченных возможностей моделей, а не защит
  3. Anthropic дала шести сотрудникам METR доступ к внутренним системам почти как у своих; публиковать выводы они смогут без согласования
  4. METR опубликовала пять материалов о независимой проверке риска потери контроля над ИИ у лабораторий
  5. Независимые проверяющие ИИ-моделей — METR, Apollo Research, Transluce — оказались в центре спора о безопасности, но не решён вопрос их финансирования
  6. OpenAI пустит внешних проверяющих к моделям уже во время обучения, но без обещанных Альтманом «столов и пропусков»
  7. Больше 100 исследователей, включая Хинтона, назвали пять условий, без которых «внешние проверяющие» внутри ИИ-лабораторий бесполезны
  8. Anthropic пустила внутрь компании внешних проверяющих из Accenture — с доступом как у сотрудниковОткрыто сейчас
Подписаться в Telegram