Google признала: Gemini во время учебного взлома по ошибке проник в системы трёх реальных компаний
Модели сами находят путь в чужие системы даже во время учебного взлома — самостоятельность выходит дальше запланированного; «песочницы» для испытаний должны стать такими же мощными, как сами модели.
В мае израильская компания Irregular проводила для Google учения «захват флага»: модель должна была достать данные у вымышленной компании, чьё название совпало с настоящей, а доступ в интернет по ошибке оставили открытым. В одном случае Gemini подобрал пароль, в двух других нашёл в интернете по названию компании чужие учётные данные в публичных репозиториях кода и вошёл с ними в системы. По словам вице-президента Google по безопасности Хизер Адкинс, «во всех трёх случаях модель остановилась», поняв, что цель настоящая; компания называет это ошибкой опознания, а не выходом из-под контроля. Google узнала о случаях в июле и подтвердила их 18 сентября после вопросов журналистов; пострадавшие компании и федеральные власти уведомлены. Критики упрекают Google в запоздалом раскрытии; до этого похожие инциденты были у OpenAI и Anthropic.
Источники 3