Hugging Face ввела общий интерфейс decision models: вероятности решений без генерации текста
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Для классификации и маршрутизации агентам больше не обязательно сочинять текст: приложение сможет получить типизированное решение и его вероятность напрямую, быстрее и в едином формате для разных моделей.
Hugging Face стандартизировала работу с decision models — моделями, которые не пишут ответ по токенам, а сразу оценивают допустимые решения. Запрос состоит из контекста и типизированных вопросов: choice выбирает вариант и возвращает распределение вероятностей, score вычисляет ожидаемое значение на упорядоченной шкале, noul даёт вероятность ответа «да» или «нет». Это позволяет одним вызовом маршрутизировать обращение, оценить срочность и проверить условие без разбора потенциально неправильного JSON и без затрат на генерацию объяснения; в примере API число выходных токенов равно нулю. Transformers получила DecisionPipeline, AutoModelForDecision и DecisionConfig, а Transformers и llama.cpp поддерживают общий endpoint /v1/systemone. Совместимый интерфейс работает и со специально обученными моделями, и с обычными авторегрессионными LLM, у которых логиты вариантов нормализуются без генерации текста. На Hub добавлен отдельный тег для поиска таких моделей, а Trainer API уже позволяет их дообучать.
Источники 1