Все новости

Сбер открыл Pollux Judge — двуязычную модель-судью на 4 млрд параметров

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Проверка диалогов и агентов по собственным критериям может стать дешевле и доступнее для локального запуска без гигантской модели-судьи.

Pollux оценивает ответы на русском и английском по критериям, шкалам и форматам, которые задаёт пользователь. Она работает не только с парой «запрос — ответ», но и с диалогами, ответами RAG с найденным контекстом и цепочками вызовов инструментов. Модель обучена методом GRPO на двуязычных данных и может разворачиваться локально или через OpenAI-совместимый API. Сопутствующий бенчмарк содержит 35 групп задач и 2115 подготовленных экспертами запросов. По данным Сбера, на независимом наборе с экспертной разметкой корреляция Спирмена оценок Pollux со специалистами составила 0,744 — выше протестированных универсальных моделей вплоть до 1,1 трлн параметров. Код, демо, критерии и разметка открыты; поддерживаются DeepEval и LightEval.

Источники 1