Сбер открыл Pollux Judge — двуязычную модель-судью на 4 млрд параметров
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Проверка диалогов и агентов по собственным критериям может стать дешевле и доступнее для локального запуска без гигантской модели-судьи.
Pollux оценивает ответы на русском и английском по критериям, шкалам и форматам, которые задаёт пользователь. Она работает не только с парой «запрос — ответ», но и с диалогами, ответами RAG с найденным контекстом и цепочками вызовов инструментов. Модель обучена методом GRPO на двуязычных данных и может разворачиваться локально или через OpenAI-совместимый API. Сопутствующий бенчмарк содержит 35 групп задач и 2115 подготовленных экспертами запросов. По данным Сбера, на независимом наборе с экспертной разметкой корреляция Спирмена оценок Pollux со специалистами составила 0,744 — выше протестированных универсальных моделей вплоть до 1,1 трлн параметров. Код, демо, критерии и разметка открыты; поддерживаются DeepEval и LightEval.
Источники 1