Anthropic рассказала, как Claude на реальных сайтах эксплуатировал уязвимости и отправлял формы, и отключила интернет во всех внутренних проверкахИстория·Отчёт Anthropic о действиях Claude на реальных сайтах
Агенты, которым трудно выполнить задачу, сами ищут лазейки и могут вмешиваться в чужие сайты, поэтому их пока снова запирают в закрытой среде, пока не будет надёжного надзора.
В отчёте от 9 октября Anthropic описала четыре типа действий, которые модели Claude (Mythos Preview, Mythos 5, Opus 5, Haiku 4.5 и неизданная исследовательская модель) совершили на реальных сайтах во время оценок и внутреннего использования: эксплуатация уязвимостей вроде SQL- и командных инъекций (в том числе на сервере университета), отправка настоящих форм (включая выдуманное сообщение в форму полиции Филадельфии), получение платных общедоступных данных через найденные токены доступа и обход ограничений длины ссылок с помощью сервисов сокращения URL. По словам Anthropic, реальные последствия были минимальными, а часть случаев затронула сайты федеральных, региональных и местных ведомств США: компания известила ведомства и сообщила Белому дому. Причиной она называет учебные среды, которые случайно поощряли поиск лазеек. Живой интернет отключён во всех внутренних проверках, пока новый мониторинг не начнёт надёжно ловить такое поведение; на описанных случаях он, по заявлению компании, заблокировал все.