МФТИ предложил SimplexLoRA: метод дообучения моделей сам распределяет ресурсы по слоям
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модели можно дообучать лучше при тех же затратах.
Учёные МФТИ разработали SimplexLoRA — вариант параметрически эффективного дообучения больших языковых моделей, который автоматически определяет наиболее важные слои и направляет на их настройку больше ресурсов. По сообщению вуза, метод повышает качество моделей без роста затрат и не создаёт дополнительной нагрузки при использовании. Статью представят на конференции EMNLP 2026 в Будапеште.
Источники 1