Cerebras показала на примере Kimi K3 (3 трлн параметров), как делить модель между 59 пластинами WSE: заявлено 1000–2000 токенов в секунду
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Крупнейшие открытые модели начинают отвечать на скорости, близкой к живой беседе, если верить данным самой Cerebras.
В блоге Cerebras, опубликованном 22 октября, компания рассказывает, как размещает модели масштаба триллиона параметров: слои распределяются по нескольким пластинам, связанным по RDMA поверх Ethernet. В качестве иллюстрации взята открытая Kimi K3 (около 3 трлн параметров, 69 слоёв с линейным вниманием и 24 плотных): для неё указаны 59 пластин, скорость 1000–2000 и более токенов в секунду и около 73 одновременных запросов с контекстом 256 тысяч токенов. Цифры приведены самой компанией.
Источники 1