Не только похожесть голоса: сегментная оценка акцента в сгенерированной речи

Высокая оценка похожести клонированного голоса не говорит, какие именно звуки изменили акцент. Авторы предлагают вместе с общими оценками голоса и акцента отмечать фрагменты слов, в которых слушатель слышит различие произношения. Так обнаруживаются ошибки, которые усреднённая оценка скрывает, и ограничения привычных объективных расстояний.

Метод. Для четырёх новых голосов из Шотландии и Австралии строятся 200 пар с одинаковым текстом: естественная запись и MaskGCT, F5-TTS либо артикуляционная реконструкция SPARC. Слушатели из соответствующего региона отдельно оценивают голос и акцент, затем выбирают информативные части слов. Модельные расстояния ECAPA-TDNN, WavLM-SV, GenAID, Voxlect, фонетических вероятностей, формант и F0 выравниваются DTW и агрегируются по сегменту. Границы переносятся через принудительное фонетическое и графемно-фонемное выравнивание, что позволяет сопоставлять локальный сигнал с человеческими отметками.

Результаты. После исключений остаются 47 из 60 слушателей, 4700 общих оценок и около 48600 двоичных решений по сегментам. Корреляция Спирмена между общей похожестью акцента и голоса равна 0,71, даже в контрольном SPARC 0,57. Ни одна объективная локальная метрика не превышает 0,22 корреляции с долей слушателей, отметивших сегмент. Для австралийского женского голоса SPARC имеет худшую общую оценку акцента 2,77 и голоса 1,14, но наименьшую долю отмеченных сегментов 15,92%. Это не один и тот же аспект качества.

Ограничения. Всего четыре говорящих, два региональных варианта английского и читаемые фразы. Согласие аннотаторов умеренное: Fleiss κ 0,184–0,234. Инструкция выбирать обычно 3–7 сегментов и исключение слишком редкой или частой разметки влияют на распределение отметок. Обработка исходников DeepFilterNet и условия домашней записи могут менять модельные расстояния. Локальные признаки моделей идентификации не обучены специально оценивать фонетическое различие, а выравнивание использует общий словарь без акцентных вариантов. Это диагностический протокол, не готовая универсальная метрика акцента.

Фишка из статьи. Таблица 3 сравнивает три способа собрать покадровые расстояния в оценку части слова. Максимум лучше среднего у всех семи метрик, но даже его связь с восприятием остаётся слабой. Ниже корреляция с локальными отметками, не точность классификации.

Как это читать: слушатель может реагировать на короткий характерный звук, поэтому усреднение размывает сигнал. Однако замена среднего максимумом не решает семантическую проблему: вектор узнавания говорящего содержит тембр и канал, а не только акцент. Для проверки клонирования полезно сохранять и общую оценку, и локальные примеры, вместо вывода о сохранённом произношении по одной высокой похожести голоса.

Источник. Оригинальное название: Beyond Utterance-Level Speaker Similarity: Perception-Aligned Segmental Evaluation of Accent in Speech Generation. arXiv:2610.37912; полный текст PDF.