Бенчмарк GDPx оценил лучшую модель всего на 12% в профессиональных задачах
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Даже сильнейшие модели пока выполняют лишь малую долю длинных специализированных заданий, зато новый набор позволяет измерять их пользу и цену на работе, близкой к реальной.
SemiAnalysis выпустила набор из 206 задач в 11 областях: проектирование чипов и оборудования, кибербезопасность, биология, финансы, право, количественная торговля, материаловедение, согласование, разработка ПО и рекурсивное самоулучшение. Над заданиями работали 14 профильных партнёров; итог усредняет pass@1 по трём попыткам с равным весом областей. Claude Opus 5.5 лидирует с 12,0% при средней стоимости $51,41 за задачу, Gemini 4 Carbon набрал 10,9% при $16,29, GPT-6 Astra — 9,6% при $53,99. В финансах и праве все модели получили ноль по строгой бинарной оценке, поэтому для этих областей показаны частичные баллы. SemiAnalysis предупреждает, что классификаторы безопасности снижали результаты Opus и Astra в кибербезопасности, биологии и согласовании. Обновления бенчмарка запланированы каждые три–шесть месяцев.
Источники 2