Региональное маскирование для устойчивого к акценту межъязыкового синтеза речи

Работа устраняет перенос акцента в межъязыковом синтезе без меток языка, параллельных записей одного диктора и изменения архитектуры. Главный рычаг неожиданно прост: важно не сколько акустических токенов скрыть при обучении, а по какую сторону языковой границы расположена маска.

Метод. Две фразы на разных языках склеиваются, после чего модель восстанавливает скрытый участок относительно известной границы. Двухзонная схема оставляет часть голоса исходного диктора, но заставляет генерировать целевой язык из контекста другого языка. Сравниваются равномерная, однозонная, двухзонная и более агрессивные маски; отдельно проверяется подбор похожих голосов по ECAPA.

Результаты. Для испанского в английский средняя субъективная сила акцента падает с 4,28 у неадаптированной системы до 0,32 при двухзонной маске, а доля фраз одновременно с акцентом не выше 1 и сохранённым тембром достигает 80,2%. На невиданных французском и португальском языках этот совместный показатель равен 69,6% против 64,5% у обычной двуязычной адаптации. Существенной потери WER или UTMOS авторы не находят.

Ограничения. Целевой язык в основных опытах английский, а субъективная оценка сосредоточена на нескольких языковых направлениях. Сильное подавление акцента ухудшает сохранение тембра, и автоматическое сходство голоса двусмысленно: оно может расти вместе с нежелательным копированием акцента. Подбор похожего голоса даёт небольшой и нестабильный эффект.

Фишка из статьи. Более агрессивная маска выигрывает по чистоте акцента, но проигрывает по совместной цели «акцент плюс личность». Это редкий пример, где лучшая строка по одному показателю оказывается худшим практическим выбором.

Как это читать: минимальный акцент сам по себе не является правильной целевой функцией. Двухзонная маска оставляет достаточно акустического контекста для личности и одновременно разрывает связь между языком контекста и языком восстановления.