OpenAI: извлечение рассуждений GPT-6.2 Astra удаётся в 0,2% атак против 54,0% у GPT-6
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Перезапись более раннего сообщения в API отбрасывает все сгенерированные после него рассуждения, поэтому собрать цепочку по частям из истории диалога больше не получится.
OpenAI 20 ноября раскрыла многоуровневую защиту от состязательной дистилляции — скоординированной выкачки выходов и цепочек рассуждений модели, чтобы обучить модель-ученика. В ходе июльской кампании, по данным OpenAI, было около 16 000 запросов на извлечение рассуждений от более чем 4 000 пользователей. Основная группа, по данным компании, связывалась с людьми, связанными с Moonshot AI. В GPT-6.2 Astra и GPT-6.2 Sol защищённые рассуждения привязаны к истории диалога. При перезаписи сообщения API отбрасывает последующие рассуждения, а модели старых семейств не могут читать такие цепочки. По внутреннему тесту red team OpenAI успешность извлечения рассуждений из предыдущего запроса упала с 54,0% у GPT-6 Astra до 0,2% у GPT-6.2 Astra. Защита включает входные и выходные классификаторы, проверку аргументов вызовов инструментов и анализ кампаний на уровне аккаунтов.
Источники 2