AccentCanvas: двунаправленное преобразование акцента с сохранением речевых пауз

Для дубляжа недостаточно изменить произношение и сохранить общую длину реплики: внутренние паузы тоже должны остаться на месте. AccentCanvas задаёт дискретному генератору покадровый план речевой активности и использует одну модель как для нормализации английского акцента, так и для добавления заданного иностранного акцента. Работа интересна явно измеренным конфликтом между синхронизацией, сходством акцента и ошибками распознавания.

Метод. Whisper-medium извлекает содержание, а диффузионный Transformer предсказывает единицы HuBERT-Large, квантованные k-means в 1000 кластеров. Повторяющиеся единицы не удаляются: они сохраняют временную сетку. Маска активности сообщает, где говорить и молчать; единицы озвучиваются готовым преобразователем unit-to-mel и BigVGAN с образцом исходного голоса. Из одинаковых текстов ARCTIC и L2-ARCTIC строят 588 714 перекрёстных пар. При обучении 75% примеров берут из реальных записей, 25% из CosyAccent; вывод использует 20 шагов раскрытия масок.

Результаты. Ошибка границ речи составляет 58,7 мс при нормализации и 45,5 мс при преобразовании L1→L2, более чем на 73% меньше лучшего сравниваемого ориентира. Оценка сходства акцента слушателями равна 3,30 и 3,44 из пяти. Однако WER для L1→L2 составляет 17,1% против 5,8% у TokAN и 6,5% у Vevo-Style. Метрика Accent Arrival также остаётся низкой в абсолютном выражении: 13,3%, хотя это лучший результат среди сравниваемых систем.

Ограничения. Проверены акценты английского на ограниченном наборе говорящих; прослушивание включает 20 специалистов и небольшой объём примеров. Arrival является специально построенной метрикой сходства дискретных единиц, не общепринятым эталоном. WER измерен Whisper и не равен человеческой разборчивости. Сквозной RTF, потоковая задержка и битрейт не приведены: дискретные единицы здесь служат представлением для преобразования, а не оценённым транспортным кодеком.

Фишка из статьи. В таблице 2 удаление только условия речевой активности почти не разрушает акцент, но резко сдвигает границы. Две задачи сведены в одну таблицу, чтобы не смешивать выигрыш временного управления с качеством произношения.

Как это читать: точное расписание пауз немного ограничивает свободу изменения акцента. Выключить его ради большей Arrival можно, но это уже другой режим применения. Ещё один показательный результат: только синтетические пары дают L1→L2 WER 8,51%, но Arrival всего 1,67%, то есть хорошее распознавание не подтверждает достижение заданного акцента.

Источник. Оригинальное название: AccentCanvas: Activity-Guided Bidirectional Accent Conversion. arXiv:2611.08972; полный текст PDF.