NVIDIA Nemotron 3 VoiceChat: передовой рубеж диалогового голосового взаимодействия
Синхронизация генерации текста и аудио для реалистичных голосовых помощников с низкой задержкой.
Понимание производительности модели речи в речь многомерно: два ключевых и различных аспекта — это чистый интеллект и динамика разговора: насколько хорошо модель справляется с естественными ритмами человеческого разговора, такими как очередность и перерывы.
Среди полнодуплексных моделей с открытыми весами новый Nemotron 3 VoiceChat от NVIDIA, V1, лидирует в балансе этих размеров, отличаясь от других моделей на границе Парето разговорной динамики и речевого рассуждения.
Ключевые результаты бенчмаркинга
➤ Динамика разговора (Full Duplex Bench): Nemotron 3 VoiceChat (V1) набирает 77,8%, занимая второе место среди моделей речи в речь с открытым весом после собственной PersonaPlex от NVIDIA (91,0%) и опережая FLM-Audio (62,0%), Moshi (61,0%) и Freeze-Omni (58,7%)
➤ Рассуждение речи (Big Bench Audio): Nemotron 3 VoiceChat (V1) набирает 29,2%, занимает второе место среди моделей речи в речь с открытым весом после Freeze-Omni (33,9%) и значительно опережает PersonaPlex (12,6%), FLM-Audio (5,3%) и Moshi (1,7%).
➤ Лидер по Парето: в то время как Freeze-Omni лидирует в речевом рассуждении, а PersonaPlex — в разговорной динамике, Nemotron 3 VoiceChat (V1) — единственная модель с открытыми весами, которая входит в тройку лучших по обоим показателям, что делает ее явным лидером на границе Парето между этими двумя критическими измерениями.
➤ Больше, чем у других моделей с открытым весом, но все же относительно небольшой по сравнению с LLM: Nemotron 3 VoiceChat (V1) имеет 12B параметров, что делает его одной из моделей речи в речь с наибольшим открытым весом, тогда как PersonaPlex от NVIDIA имеет ~7B. Несмотря на то, что модель больше по сравнению с другими более крупными моделями речи в речь, она все же относительно мала по сравнению с ведущими моделями LLM.
➤ Контекстные и проприетарные модели. Несмотря на то, что этот выпуск существенно повышает производительность открытых весов, модели речи в речь с открытыми весами по-прежнему значительно уступают ведущим проприетарным предложениям. Для сравнения, проприетарные модели в нашем тесте Big Bench Audio получили значительно более высокие оценки: Step-Audio R1.1 — 96%, Grok Voice Agent — 92%, Gemini 2.5 Flash (Thinking) — 92% и Nova 2.0 Sonic — 87%. Разрыв между открытыми весами и собственными весами в этом методе остается большим.
По мере расширения возможностей и внедрения моделей преобразования речи в речь мы планируем расширить наш набор тестов, включив в него такие элементы, как вызов инструментов и выполнение многооборотных инструкций.
Ресурсы
