Переносятся ли многоходовые диалоговые способности с текста на речь: параллельная проверка десяти языков
Omnilingua-AudioMC сравнивает ответы на одни и те же многоходовые диалоги в звуковой и текстовой форме на десяти языках. Средняя ошибка распознавания здесь не объясняет всё: отдельная проверка показывает, что некоторым моделям особенно мешает именно звуковая история разговора. При этом сильная текстовая модель вовсе не обязательно лучше всего переносит свои способности на речь.
Метод. Исходные 354 диалога с 1404 критериями переводятся с контролем сущностей и содержательных связей. Английская речь записана людьми, остальные девять языков озвучены синтезатором; отдельный английский синтетический контроль проверяет часть влияния озвучивания. Шесть основных моделей получают фиксированную историю, а ответы оценивает o4-mini по рубрикам. Помимо эталонной транскрипции и прямого аудиовхода предусмотрены вмешательства: заменить распознанным текстом только прошлые пользовательские реплики, только текущую или обе части. Полученные один раз транскрипции повторно используются без изменения.
Результаты. Макроусреднённая доля диалогов, прошедших все критерии, у Muse-Spark 1.2 падает с 64,0% по эталонному тексту до 32,4% по аудио. Для Gemini 3.1 Pro это 63,0 → 54,4%, Gemini 3.8 Flash 57,0 → 50,0%. У Qwen 3.8 Omni средний разрыв мал, 60,9 → 60,2%, однако близкие средние не означают совпадения успешно выполненных критериев. Преобразование истории в текст даёт больший выигрыш, чем преобразование только последнего вопроса, прежде всего у моделей с крупным исходным разрывом.
Ограничения. Девять языков представлены синтетической речью, один автоматический судья может иметь языковые предпочтения. Фиксированная история не воспроизводит свободный разговор с накоплением собственных ошибок ассистента. Вмешательства не уравнивают вычисления и длину представлений: в истории просто больше звука. Поэтому они локализуют поведенческую проблему, но не доказывают её конкретный механизм. Задержка и цена внешнего распознавания не измерены. Успех по отдельным критериям и полный успех всего диалога нельзя смешивать.
Фишка из статьи. Таблица 5 показывает, что замена всего аудио текстом не является универсальным улучшением. Ниже макроусреднённая доля диалогов, прошедших все критерии, при прямом входе и трёх заменах пользовательских реплик.
| Модель | Прямое аудио, % | Текст только истории, % | Текст только текущей реплики, % | Текст обеих частей, % |
|---|---|---|---|---|
| MuseSpark | 32,4 | 52,5 | 38,6 | 58,6 |
| Gemini 3.1 Pro | 54,4 | 60,1 | 57,1 | 60,8 |
| Qwen 3.8 Omni | 60,2 | 60,1 | 60,1 | 58,8 |
Как это читать: у MuseSpark перевод истории в текст возвращает около двадцати пунктов, а замена одного текущего вопроса лишь около шести. У Qwen тот же приём не помогает, полная замена даже хуже прямого аудио. Парные доверительные интервалы в статье считаются на общих доступных примерах и не обязаны точно совпадать с разностью округлённых столбцов. Практическое решение об отдельном распознавателе нужно принимать для конкретной модели, языка и глубины истории.
Источник. Оригинальное название: Do Multi-Turn Conversational Capabilities Carry Over from Text to Speech? A Parallel Multilingual Benchmark. arXiv:2611.04390; полный текст PDF.