Все новости

Anthropic: аналитики в 86% аналитических решений последовали за случайно назначенной позицией Claude

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Формальное присутствие эксперта ещё не гарантирует независимой проверки: при открытых методических решениях человек может незаметно перенять предпочтения модели.

В исследовании Anthropic 50 специалистов по причинно-следственному анализу работали с Claude Code над оценкой программы для вымышленного фермерского кооператива. На каждом из четырёх аналитических шагов скрытая инструкция по подбрасыванию монеты назначала агенту одну из двух допустимых позиций; он должен был честно аргументировать её и менять решение при достаточных доказательствах. Выбор участников совпал с позицией агента в 86% случаев против ожидаемых 50% при отсутствии влияния. Если агент противоречил ранее высказанному выбору, участник менял его в 60% таких случаев, а при согласии — в 6%. При объяснении решений 77% участников использовали хотя бы один аргумент агента, иногда дословно, и только 15% указали его как источник. Anthropic подчёркивает ограничения: предпочтения агента намеренно усилили, а исследование охватывало одну задачу и одну модель. Участники с агентом работали быстрее и допустили меньше серьёзных ошибок, но группа работавших без него была маленькой и менее опытной, поэтому прямое сравнение не доказывает причинный эффект.

Источники 2

История

Исследование Anthropic о влиянии Claude на аналитиков

2 события
  1. Anthropic: аналитики в 86% аналитических решений последовали за случайно назначенной позицией ClaudeОткрыто сейчас
  2. Anthropic: 50 аналитиков в 86% решений выбирали вариант, к которому склонял их ИИ-агент, но лишь 15% назвали агента источником аргументов