Amazon представила единый шлюз инференса через кластеры и регионы SageMaker HyperPod
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Отказ одного кластера больше не требует ручного переключения: шлюз сам направляет трафик на здоровые кластеры, а промпты при этом не сохраняются.
Amazon 20 ноября представила SageMaker HyperPod Global Inference Gateway — управляемый шлюз с одной точкой входа. Он маршрутизирует запросы на инференс по всем зарегистрированным кластерам HyperPod в одном или нескольких регионах AWS. Кластер выбирается по четырём сигналам с настраиваемыми весами: свободный KV-кэш и память GPU (0,20), глубина очереди (0,25), близость региона (0,40) и доля ошибок (0,15). При отказе кластера трафик автоматически переводится на здоровые без изменений на стороне клиентов. Аутентификация идёт через SigV4 и IAM, трафик — только через AWS PrivateLink, промпты и ответы шлюз не логирует и не хранит; поддерживаются OpenAI-совместимые запросы. Сервис доступен в 13 регионах AWS, включая Вирджинию, Огайо, Орегон, Сан-Паулу, Франкфурт, Ирландию, Лондон, Стокгольм, Токио, Мумбаи, Сингапур и Сидней. В бета-тестах Bagelcode шлюз обслуживал два региона через одну точку входа.
Источники 1