Microsoft Foundry Local подключила локальную Qwen3.8-27B к GitHub Copilot
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Агентное программирование можно перенести на собственную видеокарту: код остаётся локальным, а облако резервируется для более сложных задач.
Foundry Local 0.13.0 запускает модель через ONNX Runtime на Nvidia GPU и подключается к Copilot через Bring Your Own Key. INT4-квантование уменьшает модель примерно до 18 ГБ: на видеокарте с 24 ГБ VRAM поддерживается контекст до 64 тыс. токенов, а от 32 ГБ — до 262 тыс. Оптимизации включают спекулятивное декодирование DFlash2, кэширование префиксов и непрерывную пакетную обработку. В сравнении Microsoft с llama.cpp на реальных задачах GitHub Foundry Local показал более высокую скорость генерации при всех проверенных длинах запроса. Компания отмечает, что локальная модель уступает передовым облачным в сложных рассуждениях, но позволяет работать офлайн и не отправлять код на внешний сервер.
Источники 1