Посимвольное управление просодией китайского синтеза речи без изменения архитектуры
Работа добавляет локальные просодические команды в текстовый поток существующего синтезатора: можно удлинить определённый иероглиф, изменить движение тона или длительность паузы, не перестраивая сеть. Управляющие признаки извлекаются из записей автоматически и кодируются специальными Unicode-символами. При этом амплитудное управление оказывается слабым — полезное ограничение текстового интерфейса и его аудиотокенизатора.
Метод. На 2,15 млн китайских реплик, 5858 часов, размечаются длительность, основной тон, энергия и паузы. Дообучается языковая часть CosyVoice2, а структура синтезатора сохраняется. Дополнительный Qwen3-8B может превращать естественное описание в строку с маркерами, но полная оценка цепочки «инструкция — речь» оставлена дальнейшей работе. Локальная проверка использует 11 специально составленных предложений и 12 голосов; паузы тестируются на 2000 примеров каждого типа.
Результаты. Для отмеченных длинных символов длительность растёт с 240 до 391 мс, для коротких уменьшается с 144 до 119 мс. Усиливаются средние восходящие и нисходящие изменения F0. В слушательском опыте с 24 носителями естественность равна 4,44 против 4,46 у исходной модели; это описательное сравнение без доказанной статистической эквивалентности. Результаты управления громкостью не публикуются из-за слабого эффекта.
Ограничения. Оценивание длительности и тона использует тот же измерительный конвейер, что создаёт обучающие метки; нужна независимая человеческая калибровка. Маркеры ставятся в заранее подходящие длинные или короткие позиции, а паузы — на выбранные межфразовые границы: предсказание места команды не проверяется. Один китайский корпус и один основной синтезатор не доказывают перенос на другие языки и кодеки.
Фишка из статьи. Таблица 4 проверяет реализацию заданных классов паузы, отдельно от выбора её места.
| Заданный диапазон | Измеренная средняя пауза |
|---|---|
| 300–500 мс | 354 мс |
| 500–800 мс | 525 мс |
| 800–1000 мс | 824 мс |
| 1000–1500 мс | 1109 мс |
Как это читать: средние попадают в целевые интервалы, но не показывают разброс и долю отдельных промахов. Дополнительный опыт с четырьмя токенизаторами связывает слабое управление энергией с устойчивостью ASR-ориентированных токенов к громкости. Авторы обоснованно называют это гипотезой: один такой токенизатор не позволяет установить универсальный конфликт распознавания и просодии.
Источник. Оригинальное название: Character-Level Prosody Control for Mandarin Speech Synthesis:An Architecture-Preserving Approach. arXiv:2610.29123; полный текст PDF.