Бенчмарк TasteVal: «вкус» моделей к постановке ИИ-экспериментов, по оценке авторов, удваивается каждые три месяца
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Если оценка авторов верна, модели быстро учатся придумывать эксперименты для развития самого ИИ.
TasteVal измеряет «экспериментальный исследовательский вкус» моделей: сколько вычислений им нужно, чтобы достичь заданного результата на задачах разработки ИИ, по сравнению с экспертами-людьми. В бенчмарке 8 задач (подготовка данных для предобучения, дообучение, моделирование предпочтений, устойчивость к атакам): кодовый агент реализует эксперименты, а оцениваемая модель их придумывает и разбирает; базовые линии дали 24 эксперта из OpenAI, Google DeepMind, NVIDIA и Microsoft Research. По оценке авторов, показатель удваивается каждые 3,0 месяца с декабря 2025 года (95%-й интервал — 1,7–5,0 месяца); Opus 5.5 достиг множителя вычислений 2,30 относительно экспертов, потратив около 1/30 средней стоимости попытки исследователей-людей. Авторы оговаривают, что результаты могут завышать темп, потому что задачи быстро и дёшево проверять, а базовые линии не включают лучших исследователей; ограниченная настройка моделей, наоборот, могла занизить прирост.
Источники 2