Nvidia выпустила открытую модель Nemotron 3.5 Transcribe: расшифровка речи на 40 языках, перевод и разметка говорящих в одной модели
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Распознавание речи с переводом и подписью говорящих собрано в одну открытую модель, которую можно дообучить под свою область.
Модель, по описанию Nvidia, расшифровывает речь на 40 языках, переводит 31 из них на английский и с английского, различает говорящих на 13 языках; обрабатывает записи до часа и до восьми голосов, а вид результата задаётся текстовой подсказкой. Веса доступны на Hugging Face и ModelScope. По данным Nvidia, модель — первая среди открытых в рейтинге Hugging Face Open ASR Leaderboard для английского и показала самую низкую ошибку разметки говорящих в рейтинге David AI на 21 языке. Вместе с ней открыт набор данных Granary v2 и рецепты дообучения: в примере с медицинскими записями дообучение снизило долю ошибок в словах на 45,8% относительно лучшей подсказки. Квантованные версии для RTX Spark, DGX Spark и Jetson AGX Thor Nvidia обещает позже.
Источники 1