Анонс Индекса сквозных голосовых моделей Speech-to-Speech
Оценка моделей, работающих напрямую со звуком без промежуточного перевода в текст: задержка, акценты и эмоции.
Представляем индекс искусственного анализа речи в речь, нашу новую метрику синтеза качества собственной модели преобразования речи в речь, включающую такие показатели, как Big Bench Audio, Full Duplex Bench и 𝜏-Voice.
Индекс обеспечивает единую меру эффективности собственных моделей преобразования речи в речь, оценивая речевое мышление (Big Bench Audio), разговорную динамику (подмножество Full Duplex Bench) и агентную производительность (𝜏-Voice). Веса одинаковы для всех трех наборов данных, и для включения всех трех моделей должны быть действительные результаты.
Основные выводы ➤ Производительность модели: OpenAI GPT-Realtime-2 (High) лидирует с 77,2%, за ним следуют @xAI Grok Voice Think Fast 1.0 с 75,7%, GPT-Realtime-1.5 с 72,0% и @GoogleAI Gemini 3.1 Flash Live Preview (High) с 69,5%. Динамика разговора и производительность агентов являются ключевыми отличиями передовых моделей: GPT-Realtime-2 лидирует в динамике разговора, а Grok Voice Think Fast 1.0 лидирует в производительности агентов. ➤ Скорость: Deepslate Opal — самая быстрая модель в индексе с TTFA 0,44 с, за ней следуют GPT-Realtime-1,5 с 0,82 с и Grok Voice Think Fast 1.0 с 1,25 с. GPT-Realtime-2 (высокий) записывает 2,33 с, а Gemini 3.1 Flash Live Preview (высокий) записывает 2,98 с. ➤ Стоимость: Gemini 3.1 Flash Live Preview (Minimal) — самая дешевая модель в индексе — 1,50 доллара США, затем Gemini 3.1 Flash Live Preview (High) — 1,75 доллара США, Grok Voice Think Fast 1.0 — 3 доллара США, GPT-Realtime-2 (High) — 4,14 доллара США. ➤ Включенные наборы данных: Big Bench Audio — 1000 логических вопросов по формальным ошибкам, навигации, подсчету объектов и паутине лжи; Full Duplex Bench — обработка пауз, поворотов, прерываний и обработка обратного канала; 𝜏-Voice — комплексное выполнение задач по обслуживанию клиентов в авиакомпаниях, розничной торговле и телекоммуникациях.
Как всегда, мы продолжим работу над этими тестами и планируем добавить больше моделей.
Динамика разговора и агентская производительность являются ключевыми отличительными чертами передовых моделей собственного аудио: GPT-Realtime-2 лидирует в динамике разговора, а Grok Voice Think Fast 1.0 лидирует в агентной производительности. GPT-Realtime-2 (Minimal) превосходит Conversational Dynamics (полнодуплексный тест) с результатом 96,1%. Агентская производительность (𝜏-Voice) является самым сложным параметром с большим отрывом: Grok Voice Think Fast 1.0 лидирует с показателем 52,1%, опережая GPT-Realtime-2 (High) с показателем 39,8%, при этом показатель каждой модели ниже 53%. Речевое мышление (Big Bench Audio) плотно сгруппировано наверху, его возглавляет Grok Voice Think Fast 1.0 с показателем 97,1%.
Deepslate Opal имеет самое быстрое среднее время появления первого звука (TTFA) в индексе — 0,44 с, что составляет 62,1%. GPT-Realtime-1.5 записывает 0,82 секунды при индексе 72,0%, а Grok Voice Think Fast 1.0 записывает 1,25 секунды при 75,7%. GPT-Realtime-2 (High) записывает 2,33 секунды при 77,2%, а Gemini 3.1 Flash Live Preview (High) записывает 2,98 секунды при 69,5%.
Gemini 3.1 Flash Live Preview (Minimal) имеет самую низкую стоимость часа входного аудио в индексе — 1,50 доллара США, что соответствует показателю 56,6%. Gemini 3.1 Flash Live Preview (High) стоит 1,75 доллара при 69,5%, Grok Voice Think Fast 1.0 стоит 3,00 доллара при 75,7%, а GPT-Realtime-2 (High) стоит 4,14 доллара при 77,2%.
