Все новости

KAIST: диффузионная языковая модель читает по губам с ошибкой 19,4% на LRS3

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Порядок генерации оказался важнее наращивания модели: заполнение масок диффузией дало новый лучший результат в чтении по губам, а значит распознавание речи станет работать там, где звука нет или он неразборчив.

Команда профессора Но Ён Мана в KAIST 15 ноября объявила о системе визуального распознавания речи, которая вместо последовательной генерации слов сначала декодирует позиции с наиболее чёткой артикуляцией и использует их как контекст для неоднозначных мест. Работает это на диффузионной большой языковой модели, многократно заполняющей маскированные позиции; обучение двухэтапное — сначала выравнивание губ с текстом, затем моделирование длины предложения. На датасете LRS3 (433 часа видео с эталонными транскриптами) достигнута частота ошибок в словах 19,4% — по данным университета, лучший результат среди методов, обучавшихся только на LRS3 с транскриптами. Статья «Diffusion Large Language Models for Visual Speech Recognition» получила Outstanding Paper Award на EMNLP 2026, первый автор — Ё Чон Хун.

Источники 2