SiMa.ai ускорила работу ИИ-моделей на чипах Modalix до 3,5 раза
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Разработчики устройств на чипах Modalix получают до 3,5 раза более быструю генерацию токенов без роста энергопотребления, а открытый код позволяет проверить заявленные показатели.
SiMa.ai выпустила Palette 3.0 — обновление ПО для периферийных чипов Modalix. Обновление анонсировано 17 ноября. Оно ускоряет генерацию токенов до 3,5 раза в том же энергобюджете благодаря спекулятивному декодированию с алгоритмами EAGLE3, DFlash и Gemma 4 MTP. В техническом отчёте (white paper) компании модель Qwen3.5 9B с DFlash выросла с 11,98 до 41,75 токена в секунду при энергопотреблении около 7,5 Вт. Энергия на токен снизилась с 0,627 до 0,182 Дж. На четырёх моделях ускорение составило 2,21–3,49 раза, в тесте автомобильного ассистента — 1,35–2,06 раза при 900 корректно обработанных запросах из 900. Palette 3.0 позволяет параллельно запускать несколько моделей и отдельные Docker-контейнеры на одном чипе. Поддерживается модель со смесью экспертов GPT-OSS-20B на модуле Modalix 16 ГБ; код открыт на GitHub.
Источники 2