AWS добавила управляемый NVIDIA Dynamo в SageMaker HyperPod Inference
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Разработчики могут примерно удвоить отдачу с каждой GPU H200 в этом тесте, разведя prefill и decode по узлам и не настраивая сеть вручную.
Amazon SageMaker HyperPod Inference получил поддержку NVIDIA Dynamo: управляемый аддон ставит CRD Dynamo и его компоненты, а HyperPod берёт на себя сеть EFA, планирование GPU и замену узлов. Доступны многонодовое развёртывание, раздельные стадии prefill (обработка входного запроса) и decode (генерация ответа) и KV-aware routing с движками vLLM, SGLang и TensorRT-LLM. В бенчмарке AWS на Qwen3-235B-A22B-FP8 (два инстанса p5en.48xlarge, 16 GPU H200) раздельный режим дал 207 выходных токенов в секунду на GPU против 101 у совмещённого — при P90 задержке первого токена менее 1 с. Для Qwen3.5-397B-A17B развёртывание на двух узлах сохранило 99,1% пропускной способности одного узла; модель GLM-5.3 в FP8, по данным публикации, не помещается в 640 ГБ памяти одного ml.p5.48xlarge.
Источники 1