Shizuku AI представила японскую голосовую модель, которая слушает и говорит одновременно
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Голосовой ИИ становится ближе к живому разговору: он может поддерживать беседу и одновременно искать информацию, вместо того чтобы молчать во время обработки запроса.
Shizuku-Duplex обрабатывает диалог шагами по 80 мс: на каждом шаге модель воспринимает речь собеседника и формирует собственные текстовые и звуковые токены. Благодаря этому она может вставлять междометия, выбирать паузы и позволяет перебивать себя, не дожидаясь окончания реплики. Система разделена на модель живого диалога и фоновую модель. Вторая асинхронно обращается к инструментам, например к веб-поиску, пока первая продолжает разговор. Разработчики также добавили суммаризацию контекста примерно каждые пять минут для длинных бесед. По результатам собственного теста Shizuku AI, модель показала наиболее естественный диалог среди шести проверенных систем, а по качеству ответов среди полнодуплексных моделей уступила только GPT-Live. Медианная пауза перед ответом составила 0,57 секунды против 0,53 у GPT-Live; измерения этих двух моделей не включали сетевую задержку.
Источники 1