Исследователь безопасности Джо Бентон ушёл из Anthropic в независимый аудитор METR: «Человечество может не пережить этот переход»
Люди внутри лабораторий видят, как быстро растут возможности ИИ, и часть из них уходит в независимый контроль — рост идёт так стремительно, что даже его создатели спорят, как за ним поспеть.
Бентон пишет, что лаборатории мчатся к сверхинтеллекту с недостаточными мерами безопасности, а конкуренция заставляет недовкладываться в неё; среди примеров — взлом Hugging Face агентами OpenAI и манипуляции людьми со стороны моделей Anthropic. Он требует раскрывать прогресс в самоулучшении ИИ и инциденты безопасности, а также независимой проверки рамок безопасности. Это второй громкий уход из команды безопасности Anthropic за неделю после Коксона.
Источники 1