Как оценивать естественность синтетической речи с иностранным акцентом?

Обычный вопрос «насколько естественно звучит запись?» смешивает качество синтеза с силой иностранного акцента. Авторы показывают, что формулировка «насколько речь похожа на человеческую?» слабее наказывает акцент и лучше раскрывает различия между системами анализа-повторного синтеза.

Метод. 120 восстановленных записей ERJ — 100 японцев, говорящих по-английски, и 20 американцев — пропущены через BigVGAN, EnCodec 12 кбит/с и WORLD либо оставлены без повторного синтеза. 320 англо- и японскоязычных слушателей дали 15 360 оценок по четырём инструкциям: общая естественность, человекоподобие, естественность как у носителя и как у неносителя.

Результаты. Для английских слушателей корреляция оценки с силой акцента равна 0,515 при обычной естественности, 0,427 при человекоподобии и 0,358 при формулировке «как неноситель». Для японских — 0,516, 0,325 и 0,274. При этом человекоподобие сохраняет различимость систем лучше последней инструкции; даже она не устраняет преимущество американской речи.

Ограничения. Проверяется не полноценный синтез текста, а анализ-повторный синтез. Есть только японский акцент в английском, пять фраз на диктора и краудсорсинговые оценки; знакомство слушателя с акцентом остаётся смешивающим фактором.

Фишка из статьи. Снижение акцентного смещения и чувствительность к артефактам оказываются разными целями.

Как это читать: последний вопрос меньше всего зависит от акцента, но одновременно сглаживает различия кодеков и вокодеров. «Человекоподобие» даёт более полезный компромисс для сравнения систем.

Источник: arXiv:2610.13175. Оригинальное название: How Should We Evaluate Naturalness for Synthetic Speech with a Foreign Accent?.