Яндекс в разы снизил расход видеокарт в режиме «Исследовать» Алисы AI, не переобучая модель
Глубокие исследования силами ИИ дешевеют не только за счёт новых моделей, но и за счёт умной «упаковки» вокруг них — значит, скоро они станут массовыми.
Команда переписала обвязку вокруг модели: обработку поисковых сниппетов передали обученному классификатору вместо LLM, инструменты вызываются только если продвигают исследование, а планирование перевели на более лёгкую модель. За три месяца стоимость одного запроса упала в 6,6 раза; на бенчмарках FRAMES и SimpleQA режим набирает 75 и 81 балл. Отдельные улучшения обвязки дали прирост от 5 до 9 процентных пунктов.
Источники 1