AWS открыла SGLang-Neuron для запуска моделей на чипах Trainium
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Разработчики на SGLang получили ещё один способ переносить запуск и дообучение моделей на инфраструктуру AWS Trainium без смены привычного API.
SGLang-Neuron стал общедоступен в AWS Deep Learning Container. Плагин RadixArk и Annapurna Labs позволяет запускать модели и генерировать rollout для обучения с подкреплением на AWS Trainium через привычный серверный интерфейс SGLang. Поддержка Trainium развивается отдельно от ядра SGLang благодаря внешнему подключаемому модулю. Плагин использует нативный PyTorch и ядра Neuron Kernel Interface, а разделение prefill и decode выполняет через NIXL поверх Elastic Fabric Adapter. Это позволяет распределять обработку контекста и генерацию между серверами Trainium, сохраняя планировщик и жизненный цикл запросов SGLang.
Источники 1