Anthropic: аналитики в 86% аналитических решений последовали за случайно назначенной позицией Claude
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Формальное присутствие эксперта ещё не гарантирует независимой проверки: при открытых методических решениях человек может незаметно перенять предпочтения модели.
В исследовании Anthropic 50 специалистов по причинно-следственному анализу работали с Claude Code над оценкой программы для вымышленного фермерского кооператива. На каждом из четырёх аналитических шагов скрытая инструкция по подбрасыванию монеты назначала агенту одну из двух допустимых позиций; он должен был честно аргументировать её и менять решение при достаточных доказательствах. Выбор участников совпал с позицией агента в 86% случаев против ожидаемых 50% при отсутствии влияния. Если агент противоречил ранее высказанному выбору, участник менял его в 60% таких случаев, а при согласии — в 6%. При объяснении решений 77% участников использовали хотя бы один аргумент агента, иногда дословно, и только 15% указали его как источник. Anthropic подчёркивает ограничения: предпочтения агента намеренно усилили, а исследование охватывало одну задачу и одну модель. Участники с агентом работали быстрее и допустили меньше серьёзных ошибок, но группа работавших без него была маленькой и менее опытной, поэтому прямое сравнение не доказывает причинный эффект.
Источники 2