SenseTime открыла веса SenseNova Loop-9B: 9 млрд параметров и контекст 512K токенов
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модель с контекстом 256 тыс. токенов укладывается примерно в 15 ГиБ видеопамяти, поэтому длинные документы и агентные задачи можно держать на одной видеокарте.
SenseTime 17 ноября официально выпустила модель SenseNova Loop-9B и открыла её веса и код, одновременно выложив официальный 4-битный вариант AWQ в день релиза. Это мультимодальный декодер примерно на 9 млрд общих параметров (около 14,6 млрд «эквивалентных» при инференсе по карточке модели) с контекстом до 512K токенов. Архитектура — Looped Transformer: блок слоёв с 4-го по 28-й исполняется дважды с общими весами, поэтому 32 физических слоя дают 56 слоёвых вычислений за один проход. Внимание чередуется (три линейных слоя на один полный), добавлены две остаточные «струи» mHC; на входе текст и изображения, на выходе текст. При 4-битных весах (около 4,9 ГБ) и 8-битном KV-кэше инференс на контексте 256K требует примерно 15 ГиБ видеопамяти. По карточке модели, релиз превосходит preview-версию на всех семи бенчмарках: AutomationBench 14,33 → 36,67, Terminal-Bench 2.1 40,45 → 59,55, GAIA 37,86 → 69,90. В день релиза поддержку заявили китайские производители ускорителей MetaX и Cambricon — так называемая адаптация Day-0.