Все новости

Правка 0,0177% весов DeepSeek-R1-1.5B сократила число незакрытых рассуждений с 305 до 41

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Правка 0,0177% весов без дообучения сократила среднюю длину рассуждений с 10,8 тыс. до 4,0 тыс. токенов и число незакрытых ответов с 305 до 41; патч и скрипты открыты.

На Habr выложена методика SGNE-CC v2: поворот 205 столбцов mlp.down_proj (0,0177% параметров, 0,58 МиБ) в DeepSeek-R1-Distill-Qwen-1.5B без дообучения. Автор опубликовал открытые артефакты: патч весов, трассы, сертификат SHA-256, архив на Zenodo и лицензию Apache-2.0, поэтому заявленные числа можно проверить по файлам. При жадной генерации (T=0) на 1 054 задачах (MATH-500, MBPP, HumanEval, ARC-Challenge, BBH Logic) верных ответов стало 733 против 638. Ответов без закрывающего маркера рассуждения — 41 против 305, средняя длина сократилась с 10,8 тыс. до 4,0 тыс. токенов. На MATH-500 точность поднялась с 65,4% до 76,4%, незакрытых рассуждений стало 16 вместо 139. При T=0,6 прирост точности статистически незначим (73,3% против 72,3%, p = 0,4472), эффект проявляется в сокращении длины на 33,6%. Это самостоятельная работа одного автора на Habr, выполненная, по его словам, в сотрудничестве с ИИ, а не рецензируемая статья. Цифры заявлены автором, независимой репликации нет; исходная модель при T=0,3 не измерялась.

Источники 1