Baseten объединила маршрутизацию моделей, изолированные среды агентов и serverless-обучение
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Обучение модели, её вызовы и исполнение агента можно собрать в одной платформе вместо связки отдельных сервисов.
По описанию Baseten, Grid выбирает модель для задачи программирования внутри платформы Baseten. Sandboxes перешли из закрытого в публичное превью: среды сохраняют состояние, приостанавливаются и возобновляются, изолированы на уровне виртуальных машин и масштабируются до тысяч экземпляров за секунды. Размещение рядом с инференсом должно сократить задержки между выполнением агента и вызовами модели. Serverless Loops добавляет контролируемое дообучение и обучение с подкреплением открытых моделей без управления инфраструктурой; веса обученной модели остаются у клиента.
Источники 1