Смена «обвязки» для кодинг-агентов меняет результат не больше, чем повторный запуск, но Claude Code тратит в 2–3 раза больше токенов, показало исследование на открытых моделях
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
В этом тесте сложная оболочка вокруг модели удорожала работу, но не повышала долю решённых задач.
Лю и Хань из Шаньдунского университета в работе «What does a harness buy? Mostly tokens» сравнили три готовые программные оболочки вокруг модели («обвязки») — Claude Code, OpenCode и mini-SWE-agent — на пяти моделях (Qwen3.6, Qwen3.8, DeepSeek-V4-Flash, GLM-5.3-Flash, HY4-Preview) в офлайне: 45 трудных задач SWE-bench Verified и ещё 447. Исход задачи менялся в 13% случаев и при смене обвязки, и при простом перезапуске; разница долей решённых — в пределах шума (±5 п.п.). Системный промпт Claude Code занимает около 16 600 токенов против менее 1000 у mini-SWE-agent. Результат получен на открытых моделях и в офлайн-условиях; пересказ — The Decoder.
Источники 1