Все новости

AWS выложила навык распределённого KV-кэша: заявлены −40% стоимости и −80% задержки

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Снижение стоимости и времени до первого токена для самостоятельно развёрнутых моделей теперь можно получить автоматически: агент сам проверяет необходимость кэша и разворачивает его.

AWS опубликовала навык (skill) распределённого KV-кэширования в Agent Toolkit for AWS. Кодирующий агент сам проверяет, нужен ли рабочей нагрузке такой кэш, подбирает размер кластера и разворачивает его на Amazon ElastiCache (Valkey 9.1) с LMCache и RDMA/EFA. AWS заявляет, что распределённый KV-кэш снижает стоимость инференса самостоятельно развёрнутых больших языковых моделей до 40%, а время до первого токена — до 80%. Инструмент KVTrace по заявлению AWS бесплатно оценивает выгоду на собственном трафике до развёртывания, не записывая идентификаторы токенов и текст промптов. Навык заявлен совместимым с Kiro, Claude Code, OpenAI Codex и другими агентами, поддерживающими Agent Skills.

Источники 1

История

Новые возможности инференса Amazon SageMaker HyperPod

3 события
    1. AWS выложила навык распределённого KV-кэша: заявлены −40% стоимости и −80% задержкиОткрыто сейчас
    1. Amazon представила единый шлюз инференса через кластеры и регионы SageMaker HyperPod
    1. AWS добавила управляемый NVIDIA Dynamo в SageMaker HyperPod Inference