EZ-Ar-VC: анонимизация арабской речи с сохранением диалектов и переключений языков

Преобразователь голоса может звучать гладко, но искажать характерные арабские согласные и давать неестественный акцент. EZ-Ar-VC адаптирует преобразование к арабским вариантам и проверяет произношение отдельно от смены тембра. Сильная сторона работы — сопоставление автоматических показателей со слушателями, а не обещание формальной анонимности.

Метод. Из слоя 14 XEUS получают дискретные единицы через 2000 кластеров. Предобученный F5-TTS подстраивается как генератор звука по единицам на примерно 5000 часов арабского материала; многоязычный вариант добавляет английский и французский, всего около 6000 часов. Сравниваются также арабские варианты kNN-VC. Источники и целевые голоса разделены; испытания включают литературную речь, разные диалекты и арабско-английские и арабско-французские переключения. Фонемные распределения сравниваются после временного выравнивания, выделяя фарингальные, увулярные и эмфатические согласные.

Результаты. У исходной EZ-VC WER преобразованной речи равна 30,0%, у арабско-англо-французской — 16,8%; CER снижается с 14,9% до 7,1%. Средняя дистанция фонемных распределений JSD падает с 0,18 до 0,12. Десять слушателей оценивают естественность в 4,53 против 3,68 и несходство с исходным голосом в 4,02 из 5. EER проверяющей системы составляет 44,54%: близость к случайному различению в данном испытании указывает на затруднение идентификации, но не доказывает защиту от любого атакующего.

Ограничения. Субъективное сравнение систем основано на 20 исходных фразах; расширенная проверка — на 85 парах. В тест допускаются исходники с CER менее 5%, что отбирает более легко распознаваемую речь. Дистанция произношения зависит от внешнего фонемного распознавателя и не охватывает все эмфатические фонемы. Проверка приватности не включает адаптирующегося к преобразователю противника. Содержание, акцент и стиль сами могут раскрывать личность даже при изменённом тембре.

Фишка из статьи. Таблицы 2–3 дают редкий пример противоположного ранжирования естественности автоматической моделью и людьми. Один UTMOS здесь выбирает не ту систему, которую предпочитают арабоязычные слушатели.

Как это читать: падение UTMOS не означает фактического ухудшения арабской естественности: человеческие оценки и сохранение текста улучшаются. Это не универсальная дисквалификация UTMOS, а предупреждение о языковом переносе метрики. Для преобразования голоса важно отдельно контролировать фонетическую сохранность и проверять автоматический показатель на целевых слушателях.

Источник. Оригинальное название: EZ-Ar-VC: Robust Arabic Voice Anonymization with Generalization across Dialects and Code-Switching. arXiv:2611.01268; полный текст PDF.