«Т-Технологии» опубликовали два метода: LIMe сокращает затраты на обучение моделей на 15%, KronSAE — вычисления более чем на 40%
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Российская лаборатория предлагает способы дешевле обучать языковые модели и заглядывать внутрь нейросетей.
По данным CNews, лаборатория научных исследований «Т-Технологий» разработала метод LIMe, который позволяет слоям трансформера использовать информацию из предыдущих слоёв и, по описанию, снижает затраты на 15% при сохранении качества базовой модели, и KronSAE — архитектуру разреженных автоэнкодеров для интерпретируемости, которая, по тем же данным, сокращает вычисления более чем на 40% по сравнению с методом TopK SAE. Код обоих методов опубликован на GitHub.
Источники 1