Все новости

Hugging Face ввела общий интерфейс decision models: вероятности решений без генерации текста

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Для классификации и маршрутизации агентам больше не обязательно сочинять текст: приложение сможет получить типизированное решение и его вероятность напрямую, быстрее и в едином формате для разных моделей.

Hugging Face стандартизировала работу с decision models — моделями, которые не пишут ответ по токенам, а сразу оценивают допустимые решения. Запрос состоит из контекста и типизированных вопросов: choice выбирает вариант и возвращает распределение вероятностей, score вычисляет ожидаемое значение на упорядоченной шкале, noul даёт вероятность ответа «да» или «нет». Это позволяет одним вызовом маршрутизировать обращение, оценить срочность и проверить условие без разбора потенциально неправильного JSON и без затрат на генерацию объяснения; в примере API число выходных токенов равно нулю. Transformers получила DecisionPipeline, AutoModelForDecision и DecisionConfig, а Transformers и llama.cpp поддерживают общий endpoint /v1/systemone. Совместимый интерфейс работает и со специально обученными моделями, и с обычными авторегрессионными LLM, у которых логиты вариантов нормализуются без генерации текста. На Hub добавлен отдельный тег для поиска таких моделей, а Trainer API уже позволяет их дообучать.

Источники 1

История

Модели, отвечающие выбором или вероятностью, а не текстом

10 событий
  1. Google выпустила Gemini Decision 1 для быстрых ответов на закрытый набор вопросов
  2. Hugging Face ввела общий интерфейс decision models: вероятности решений без генерации текстаОткрыто сейчас
  3. Baseten выпустила joey-1 — открытую модель на 2 млрд параметров, выдающую решения за $0,01 за миллион токенов
  4. OpenAI открыла Decisions API для всех клиентов: модель быстро выбирает из заданных вариантов, отвечая за 100–180 миллисекунд вместо 1–3 секунд
  5. Subquadratic выпустила SubQ Snap: модель-решатель для агентов обрабатывает 100 тысяч токенов примерно за секунду
  6. Cloudflare выпустила открытую модель Clef-omni, которая выбирает вариант ответа по аудио, видео, картинкам и тексту за один проход
  7. Microsoft выпустила Decision-1: модель отвечает не текстом, а вероятностью выбора, и стоит $0,042 за миллион входных токенов
  8. Liquid AI выложила открытые модели d1: они отвечают без текста, за один проход
  9. OpenAI открыла Decisions API: модель отвечает не текстом, а вероятностью, выбором или баллом
  10. Amazon и Cloudflare выпустили открытые «модели решений» — быстрые ИИ, которые выбирают вариант, а не пишут текст