Cognition выпустила бенчмарк FrontierCode 2.0: лучший результат — 45,5% у Claude Opus 5.5
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Проверки программистских агентов усложняют: на новом наборе задач лучшая модель не набирает и половины.
По данным Cognition, во второй версии задачи взяты из репозиториев, число которых на 55% больше, чем в версии 1.1; эталонные решения в среднем меняют на 67% больше файлов и на 89% больше строк кода, а блокирующих критериев на 43% больше. Лучшую оценку получила модель Claude Opus 5.5 — 45,5%, следом GPT-6 Astra — 42,8%. Задачи составили более 20 разработчиков открытых проектов, каждый из которых потратил на одну задачу более 40 часов.
Источники 1