AA-kNN-AC: изменение акцента с фонетически сбалансированным поиском и адаптивным числом соседей

В преобразовании акцента поиском по образцам важны не только расстояния между признаками, но и содержание самого набора образцов. AA-kNN-AC сначала добивается покрытия редких фонем, затем меняет число соседей по локальной геометрии WavLM-признаков. Это позволяет работать с фиксированными 25 минутами целевого американского произношения, не собирая новую целевую речь для каждого запроса.

Метод. Жадный отбор учитывает число фонем, разнообразие, редкие фонемы, широкие фонетические классы и равномерность распределения. Временная окрестность признака анализируется через SVD: более анизотропным участкам выбирают меньше соседей, более однородным больше, в диапазоне k = 2…6. У границ применяется поправка на укороченное окно. Усреднённое целевое содержание объединяется с голосом источника через прогрессивный AdaIN-декодер на разрешениях 50 и 100 Гц. Статистика целевого набора вычисляется заранее; обучающий корпус декодера содержит 100 часов LibriSpeech.

Результаты. Для Hindi-L1 ASI WER снижается с 13,12% у kNN-AC до 8,35%, для Arabic-L1 ABA с 17,52 до 15,72%, для VCTK P248 с 6,40 до 5,86%. Для ASI естественность NMOS равна 4,20 ± 0,09, сходство голоса SMOS 3,74 ± 0,09. Но TokAN здесь имеет немного выше NMOS, 4,24, а на ABA также выше оценку акцента. Прослушивание проведено двадцатью слушателями на ограниченном числе примеров. Сравнения с системами, доступными только как демонстрации, вынесены в отдельную таблицу и не являются общим корпусным тестом.

Ограничения. Основная воспроизводимая проверка охватывает лишь трёх исходных говорящих, одного целевого диктора BDL и английский язык. Настройки и выбор критериев эмпирические, нет доказанного оптимума или крупных повторных испытаний. Корпусные оценки и демонстрационные примеры имеют разные знаменатели. Результат зависит от качества Whisper и нейронных PPG-оценок. RTF меньше единицы не доказывает потоковость: контекстные признаки, локальный анализ и декодер не обеспечены причинным протоколом, а сквозная задержка отдельно не установлена.

Фишка из статьи. Таблица 3 даёт цену качества в скорости. Ниже парные результаты kNN-AC и нового метода на одних и тех же трёх наборах; RTF означает отношение времени обработки к длительности выхода.

Как это читать: адаптивность не бесплатна, и выигрыш неоднороден: самый большой прирост разборчивости сопровождается ростом RTF на 62,5%, хотя абсолютный RTF остаётся небольшим. Нельзя приписать всю прибавку одному адаптивному k, поскольку одновременно меняются отбор образцов и декодер. Для ASI удаление критерия редких фонем отдельно ухудшает WER с 8,35 до 9,15%, подтверждая самостоятельную роль состава поисковой базы.

Источник. Оригинальное название: Adaptive and High-Fidelity Matching Algorithm for Retrieval-Based Accent Conversion. arXiv:2611.07420; полный текст PDF.