Замкнутое управление акцентом по двум образцам при межъязыковом клонировании голоса

Метод уменьшает перенос иностранного акцента в английский синтез, сохраняя узнаваемость исходного человека. Для этого к реальному голосовому образцу добавляется один заранее преобразованный образец с более естественным целевым произношением. Два состояния языковой модели управляют общей акустической траекторией и после каждого фрагмента получают один и тот же фактически сгенерированный результат.

Метод. На замороженной VoxCPM2 строятся отдельные контексты исходного и преобразованного референсов. Их условные поля скорости смешиваются при фиксированном коэффициенте 0,33, выбранном на разработочной группе. Преобразование образца Seed-VC выполняется один раз на диктора, не для каждой новой фразы. Общая обратная связь по готовым акустическим фрагментам удерживает обе ветви на одной истории; проверена также близкая реализация смешивания условий.

Результаты. На 20 отложенных французских дикторах, 1200 примеров на вариант, остаточная французская вероятность языкового определителя падает с 0,093 до 0,025. Сходство ECAPA снижается с 0,601 до 0,559, но заметно выше 0,404 у синтеза только по преобразованному образцу. Средний WER — 0,9% против 1,6% прямого клонирования; доверительный интервал разницы WER включает ноль, поэтому это не доказанное превосходство по каждой метрике.

Ограничения. Проверены главным образом французский и испанский перенос в английский. Вероятность исходного языка служит приближением к акценту, а не прямой фонетической мерой. Слепая оценка семи носителей английского выполнена на разработочных голосах. Онлайн-RTF около 0,59 лучше каскада TTS→VC 0,80, но хуже прямого синтеза 0,474; одноразовое построение образца около 3,1 с в эту онлайн-оценку не входит.

Фишка из статьи. Абляция таблицы 4 на разработочных данных проверяет не просто наличие двух образцов, а необходимость общей истории.

Как это читать: сходное среднее голосовое сходство может скрывать резкое разрушение слов и произношения. Если ветви продолжают разные акустические истории, смешивание их предложений становится несогласованным. Поэтому инженерный вклад состоит не только в весе двух референсов, но и в синхронизации состояния после каждого выданного фрагмента; результаты этой абляции не следует смешивать с отложенным тестом.

Источник. Оригинальное название: Closed-Loop Dual-Reference Guidance for Accent Control in Cross-Lingual Voice Cloning. arXiv:2610.29351; полный текст PDF.