Распознавание речи Синтез речи Псевдоразметка
arXiv eess.AS

Взаимное улучшение распознавания и синтеза речи с учётом сильных сторон моделей

ArXiv:2611.11322

Распознаватель и синтезатор могут учить друг друга, но направление передачи знаний не обязано быть одинаковым для каждого языка. Авторы сначала измеряют сравнительную разборчивость и направляют псевдоразметку от более сильного компонента к слабому. Работа полезна также честным сравнением с однократным объединением данных: итеративное обновление выигрывает не везде.

Метод. В каскадной разговорной системе используются Whisper large-v3 и CosyVoice2. Где распознавание сильнее, реальные аудиозаписи получают псевдотексты для обучения синтезатора; где сильнее генерация, тексты превращаются в синтетическую речь для обучения распознавателя. Обновляются учителя, фильтры и отбор примеров; двусторонняя дистилляция ограничивает забывание. Здесь online означает построение обучающего сигнала в ходе итераций, а не адаптацию непосредственно во время пользовательского разговора. Сравнение включает 200 шагов для распознавания и 600 для синтеза.

Результаты. У Whisper китайский CER уменьшается с 14,18% до 10,77%, а японский почти не меняется: 15,23% против 15,10%. У CosyVoice2 японский CER снижается с 14,85% до 11,18%, сходство голоса повышается с 0,635 до 0,702. Однако статический вариант на том же числе шагов имеет CER 11,03% для японского и 1,93% для китайского, тогда как итеративный — 11,18% и 4,04%. Улучшение относительно исходной модели ещё не доказывает пользу именно итеративности.

Ограничения. Опыты ограничены двумя языками и коротким дообучением. Качество синтетического учителя и фильтра влияет на результат; одновременно меняются несколько частей построения данных, поэтому причинный вклад одной дистилляции не изолирован. UTMOS является автоматическим прогнозом естественности, а не результатом нового прослушивания. Конечная полезность диалоговой системы целиком здесь не измерена.

Фишка из статьи. Таблицы 3–4 позволяют увидеть асимметрию статической и итеративной схем при согласованном бюджете шагов. Все значения ниже — CER в процентах, меньше лучше.

Компонент / языкИсходныйСтатическое объединениеИтеративная схема
Распознавание / японский15,2318,7515,10
Распознавание / китайский14,1811,6310,77
Синтез / японский14,8511,0311,18
Синтез / китайский4,781,934,04

Как это читать: динамическая схема помогает распознавателю, но для синтеза статические данные оказываются сильнее. Практический вывод состоит в раздельном выборе режима обновления для компонентов и языков. Одного среднего улучшения всей каскадной системы недостаточно, чтобы рекомендовать одинаковый цикл взаимного обучения всем её частям.

Источник. Оригинальное название: Capability-Guided Iterative Online Optimization of Cascaded Spoken-Dialogue Modules. arXiv:2611.11322; полный текст PDF.

Оригинальная статья на arXiv