Google Research предложила «фазу сна» для языковых моделей: новые знания закрепляются в весах без потери прежних
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Предложен способ, как развёрнутой модели доучиваться, не стирая прежние знания.
Исследователи Google Research Али Берузи и Вахаб Миррокни описали парадигму непрерывного обучения, в которой работа языковой модели чередуется с офлайн-фазой «сна». В ней модель включает заранее выделенные блоки памяти Mixture-of-Experts и обновляет веса на самостоятельно созданных тренировочных примерах: на этапе консолидации краткосрочный контекст переносится в долговременные параметры, на этапе «сновидений» модель улучшает рассуждения. По данным авторов, метод удерживает знания из длинного контекста до 10 млн токенов (BABILong), на SQuAD даёт 48,9%, а на математических тестах AIME 24, AIME 25 и HMMT 25 — 79,2%, 69,0% и 46,1%. Авторы подчёркивают, что архитектура модели остаётся прежней, а обучение идёт по заданным человеком правилам.
Источники 1