Взаимное улучшение распознавания и синтеза речи с учётом сильных сторон моделей
Распознаватель и синтезатор могут учить друг друга, но направление передачи знаний не обязано быть одинаковым для каждого языка. Авторы сначала измеряют сравнительную разборчивость и направляют псевдоразметку от более сильного компонента к слабому. Работа полезна также честным сравнением с однократным объединением данных: итеративное обновление выигрывает не везде.
Метод. В каскадной разговорной системе используются Whisper large-v3 и CosyVoice2. Где распознавание сильнее, реальные аудиозаписи получают псевдотексты для обучения синтезатора; где сильнее генерация, тексты превращаются в синтетическую речь для обучения распознавателя. Обновляются учителя, фильтры и отбор примеров; двусторонняя дистилляция ограничивает забывание. Здесь online означает построение обучающего сигнала в ходе итераций, а не адаптацию непосредственно во время пользовательского разговора. Сравнение включает 200 шагов для распознавания и 600 для синтеза.
Результаты. У Whisper китайский CER уменьшается с 14,18% до 10,77%, а японский почти не меняется: 15,23% против 15,10%. У CosyVoice2 японский CER снижается с 14,85% до 11,18%, сходство голоса повышается с 0,635 до 0,702. Однако статический вариант на том же числе шагов имеет CER 11,03% для японского и 1,93% для китайского, тогда как итеративный — 11,18% и 4,04%. Улучшение относительно исходной модели ещё не доказывает пользу именно итеративности.
Ограничения. Опыты ограничены двумя языками и коротким дообучением. Качество синтетического учителя и фильтра влияет на результат; одновременно меняются несколько частей построения данных, поэтому причинный вклад одной дистилляции не изолирован. UTMOS является автоматическим прогнозом естественности, а не результатом нового прослушивания. Конечная полезность диалоговой системы целиком здесь не измерена.
Фишка из статьи. Таблицы 3–4 позволяют увидеть асимметрию статической и итеративной схем при согласованном бюджете шагов. Все значения ниже — CER в процентах, меньше лучше.
| Компонент / язык | Исходный | Статическое объединение | Итеративная схема |
|---|---|---|---|
| Распознавание / японский | 15,23 | 18,75 | 15,10 |
| Распознавание / китайский | 14,18 | 11,63 | 10,77 |
| Синтез / японский | 14,85 | 11,03 | 11,18 |
| Синтез / китайский | 4,78 | 1,93 | 4,04 |
Как это читать: динамическая схема помогает распознавателю, но для синтеза статические данные оказываются сильнее. Практический вывод состоит в раздельном выборе режима обновления для компонентов и языков. Одного среднего улучшения всей каскадной системы недостаточно, чтобы рекомендовать одинаковый цикл взаимного обучения всем её частям.
Источник. Оригинальное название: Capability-Guided Iterative Online Optimization of Cascaded Spoken-Dialogue Modules. arXiv:2611.11322; полный текст PDF.