Все новости

AWS открыла SGLang-Neuron для запуска моделей на чипах Trainium

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Разработчики на SGLang получили ещё один способ переносить запуск и дообучение моделей на инфраструктуру AWS Trainium без смены привычного API.

SGLang-Neuron стал общедоступен в AWS Deep Learning Container. Плагин RadixArk и Annapurna Labs позволяет запускать модели и генерировать rollout для обучения с подкреплением на AWS Trainium через привычный серверный интерфейс SGLang. Поддержка Trainium развивается отдельно от ядра SGLang благодаря внешнему подключаемому модулю. Плагин использует нативный PyTorch и ядра Neuron Kernel Interface, а разделение prefill и decode выполняет через NIXL поверх Elastic Fabric Adapter. Это позволяет распределять обработку контекста и генерацию между серверами Trainium, сохраняя планировщик и жизненный цикл запросов SGLang.

Источники 1

История

Amazon и Google: PyTorch для своих чипов вместо CUDA

3 события
  1. AWS открыла SGLang-Neuron для запуска моделей на чипах TrainiumОткрыто сейчас
  2. Google выпустила TorchTPU: программы на PyTorch можно запускать на её чипах TPU почти без переписывания кода
  3. Amazon открыла TorchNeuron: код на PyTorch запускается на чипах Trainium почти без переписывания