Проверки «интроспекции» моделей выявили способность замечать внутренние аномалии, а не читать свои мысли
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
У моделей обнаружился измеримый сигнал о вмешательстве в их внутреннюю работу, но это ещё не означает субъективный опыт или понимание собственных мыслей.
В исходных экспериментах Anthropic исследователи усиливали в нейросети паттерны, связанные с конкретными понятиями, и спрашивали модель о вмешательстве до генерации необычного ответа. В 20% попыток наиболее сильная проверенная версия Claude правильно сообщала о внедрении и называла понятие, тогда контрольная группа не сообщала о вмешательстве. Последующие опыты Харви Ледермана и Кайла Маховальда на открытых моделях показали, что распознавание вмешательства и его содержательное описание работают раздельно: называние понятия можно ухудшить, сохранив обнаружение. Устойчивый результат исследователи называют обнаружением аномалии во внутренней обработке, а не доказательством самосознания или полноценной интроспекции. Проведённые контроли пока не объясняют саму способность замечать такие изменения.
Источники 1