OVHcloud выпустила открытую Olala mini 7A1B: 7 млрд параметров, запуск на GPU с 8 ГБ
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Открытые веса под Apache 2.0 с 19 ноября позволят запускать модель на одной видеокарте от 8 ГБ — без обращения к внешнему облаку.
OVHcloud 17 ноября представила первое собственное семейство больших языковых моделей Olala; первой выпущена компактная Olala mini 7A1B. Модель разреженная: 7 млрд параметров, из которых активен 1 млрд, 256 экспертов на слой, гибридное внимание на Differential-TPA и Mamba-3, контекст 32 тыс. токенов, формат BF16. По заявлению компании, она работает на GPU с 8 ГБ памяти (160 токенов в секунду на RTX A4500) и на CPU (50 токенов в секунду). Обучение шло на европейских суперкомпьютерах Jupiter, MeluXina и Jean Zay — эквивалент €7 млн вычислительного времени. Веса выложат на Hugging Face под лицензией Apache 2.0 с 19 ноября вместе с базовой предобученной моделью, техническим отчётом и документацией по AI Act. Поисковик Qwant уже использует модель для быстрых ответов: по данным компании, ответы в «Réponse Flash» стали на 20% быстрее при затратах втрое ниже. Версию 1.1 с контекстом 128 тыс. токенов обещают до конца года, версию 2.0 на более чем 100 млрд параметров — позже.
Источники 3