DeepSeek открыла код DeepInfer — движка, на котором работают её сервисы
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Движок, на котором работает крупный ИИ-сервис, стал доступен всем, и запускать большие модели станет проще.
Репозиторий DeepInfer на GitHub описан как фреймворк для крупномасштабного инференса моделей DeepSeek; лицензия — Apache 2.0, поддерживаются GPU Nvidia SM100 и NPU Huawei Ascend 950. По описанию авторов, релиз содержит офлайн-инференс и основные функции для работы в масштабе, но не включает часть компонентов, нужных для полноценного сервиса. По умолчанию используется контрольная точка DeepSeek-V4.1-Flash-1017; код построен в основном на vLLM с идеями из SGLang. В репозитории приведены графики пропускной способности префилла и декодирования, измеренные на 4 GPU для префилла и 64 для декодирования.
Источники 2