GPT-6 Astra подняла результат Qwen3.5-0.8B в математике, изменив 0,016% весов
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Языковая модель может находить и устранять отдельные внутренние дефекты нейросети без переобучения, но поиск такой правки пока требует много времени и не добавляет способности, которых не было.
Исследователи MIT CSAIL показали, как универсальная языковая модель читает и редактирует веса других нейросетей без градиентного обучения. В главном эксперименте Astra получила веса Qwen3.5-0.8B, тренировочные задачи и 50 прогонов для проверки. Она связала повторяющиеся рассуждения с направлением в слоях 15 и 19 и удалила его из 131 072 весов. MATH-500 вырос с 7,9% до 48,1%, GSM8K — с 13,8% до 67,1%, следование инструкциям IFEval — с 21,0% до 62,3%; доля ответов, упиравшихся в лимит токенов, снизилась с 93% до 33,1%. Это исправление конкретного сбоя, а не добавление новых математических знаний: на Gemma 3 270M без такой склонности к повторам установленного улучшения не получилось. По данным VentureBeat, сильнейшая попытка заняла 158 диалоговых ходов, 80 запусков Python и 20,3 часа.
Источники 2