AWS выложила навык распределённого KV-кэша: заявлены −40% стоимости и −80% задержки
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Снижение стоимости и времени до первого токена для самостоятельно развёрнутых моделей теперь можно получить автоматически: агент сам проверяет необходимость кэша и разворачивает его.
AWS опубликовала навык (skill) распределённого KV-кэширования в Agent Toolkit for AWS. Кодирующий агент сам проверяет, нужен ли рабочей нагрузке такой кэш, подбирает размер кластера и разворачивает его на Amazon ElastiCache (Valkey 9.1) с LMCache и RDMA/EFA. AWS заявляет, что распределённый KV-кэш снижает стоимость инференса самостоятельно развёрнутых больших языковых моделей до 40%, а время до первого токена — до 80%. Инструмент KVTrace по заявлению AWS бесплатно оценивает выгоду на собственном трафике до развёртывания, не записывая идентификаторы токенов и текст промптов. Навык заявлен совместимым с Kiro, Claude Code, OpenAI Codex и другими агентами, поддерживающими Agent Skills.
Источники 1