DuplexWorld: голосовые агенты звучат хорошо, но задачи решают не всегда
DuplexWorld - большой тест для голосовых агентов, где оценивается не только приятный звук, но и способность довести задачу до конца в живом разговоре. Авторы сравнивают пять коммерческих speech-to-speech систем в банковских, логистических, медицинских, страховых, туристических и навигационных сценариях. Главный вывод неприятный для рынка: хорошая естественность речи почти не гарантирует успешное выполнение задачи.
Метод. Бенчмарк моделирует двусторонний голосовой диалог через WebSocket-интерфейсы поставщиков с настройками по умолчанию. Метрики разделены на три группы: агентность, динамика разговора и естественность речи. Для агентности используются GS, Pass@1, Pass@3 и Pass3; для динамики - turn-taking, conversation progression и selectivity; для качества аудио - DNSMOS, UTMOS, NISQA и связанные оценки.
Результаты. По всем шести мирам Voice Think Fast лидирует с Pass@1 0.490 и GS 0.779. GPT-Realtime-2.1 идет следом с Pass@1 0.433, Gemini - 0.398, GPT-Realtime-2.1-mini - 0.188, Nova 2 Sonic - 0.011. При этом GPT-Realtime-2.1 сильно зависит от домена: Pass@1 от 0.200 в Banking до 0.674 в Travel. По динамике картина другая: GPT-Realtime-2.1 лучше по turn-taking, VTF - по progression, а Nova при почти нулевой агентности остается приличной по turn-taking и selectivity.
Ограничения. Сценарии синтетические и зависят от симулятора пользователя; часть результатов особенно чувствительна к модели звонящего. В Pathfinding 215 из 450 разговоров достигли step cap, поэтому задача явно перегружена для текущих систем. Языки, реальные шумы, человеческие голоса и правовые ограничения доменов покрыты ограниченно.
Фишка из статьи. Самый важный разрыв - между качеством звучания и полезностью. MOS-подобные метрики мало двигаются, пока успех задачи меняется кратно.
| Система | Pass@1 | Интерпретация |
|---|---|---|
| Voice Think Fast | 0.490 | лучший общий успех задач |
| GPT-Realtime-2.1 | 0.433 | сильный, но доменно нестабилен |
| Gemini-3.1-Flash-Live | 0.398 | близко к лидерам по агентности |
| Nova 2 Sonic | 0.011 | может звучать и вести очередь реплик, но почти не решает задачи |
Как это читать: для голосовых агентов нельзя ограничиваться MOS, DNSMOS или задержкой. Пользователь покупает выполнение задачи, а не только гладкий звук; DuplexWorld хорошо отделяет эти две вещи.