IBM, Red Hat и Google выпустили llm-d 1.0 — открытую систему для запуска ИИ-моделей на серверах
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Запускать большие модели на своих серверах становится дешевле, если не писать для этого собственную систему.
По сообщению IBM Research, версия 1.0 получила стабильный API, поддержку нескольких арендаторов с разными приоритетами на общей инфраструктуре и обновления без остановки работы. Основные возможности: маршрутизация с учётом кэша префиксов, вынос KV-кэша, пакетный инференс, разделение префилла и декодирования и широкий параллелизм экспертов. Проект ведут Red Hat, IBM и Google при участии CoreWeave и Nvidia; он размещён в CNCF как sandbox-проект. По данным IBM, в тесте с агентным кодированием достигнуто 97% повторного использования кэша, а на развёртывании с 3 000 одновременно работающих программных агентов стоимость оказалась в 5–10 раз ниже, чем у сопоставимого коммерческого сервиса. Это замеры самих авторов.
Источники 1