Все новости

Canonical выпустила Inference Manager для локальных моделей с OpenAI-совместимым API

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Ubuntu превращает локальные модели в обычный системный сервис: приложениям больше не нужен отдельный механизм установки и запуска каждой модели.

Canonical представила на Ubuntu Summit Inference Manager и сразу опубликовала его в Snap Store. Утилита устанавливает локальные модели командами вроде `inference install smollm2` и открывает к ним единый HTTP-доступ через порт 8400, совместимый с OpenAI API для существующих клиентов. Система использует inference-snaps, работает без интернета и уже связывает диктовку Myna, настольных помощников и coding-агентов; функции ИИ включаются по желанию пользователя и могут быть удалены.

Источники 1