Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages

Профессиональный дубляж сохраняет не только смысл, но и часть локальной просодии исходной реплики. На 110 часах немецко-английских, англо-испанских и англо-французских пар работа отделяет слабое сходство контуров высоты и энергии от почти точного сохранения фонемного темпа и общей длительности.

Метод. Для каждой пары языков исходные 100 тысяч фрагментов проходят фильтры качества, одного говорящего, семантической близости и корректной высоты тона; остаётся 15,9–16,9 тысячи реплик. Слова выравниваются статистически, внутри каждого слова контуры приводятся к 20 отсчётам и нормируются по среднему говорящего. Сходство измеряется корреляцией Спирмена, а вклад частей речи — исключением соответствующих областей.

Результаты. Средняя корреляция высоты равна 0,229 для DE–EN, 0,241 для EN–ES и 0,246 для EN–FR; у перемешанного контроля только 0,005–0,010. Для энергии значения ниже: 0,174–0,183. При этом корреляции числа фонем и длительности достигают 0,871–0,891. Все основные отличия от контроля имеют p<10⁻⁸⁰, а различия между языковыми парами малы: |Cliff's δ|≤0,031.

Ограничения. Это дубляж актёрами, а не прямой перенос просодии одним говорящим, поэтому причинный механизм неизвестен. Рассмотрены лишь три европейские нетональные пары; автоматические распознавание и выравнивание вносят ошибки. Паузы, ритм, качество голоса и эмоции напрямую не оцениваются, а исходные материалы нельзя свободно выпустить из-за лицензий.

Фишка из статьи. Существительные стабильно несут полезное просодическое соответствие, особенно по энергии. Служебные слова, напротив, часто снижают энергетическую корреляцию: после их удаления показатель становится выше.

Как это читать: Δr — исходная корреляция минус корреляция после удаления. Положительное число означает, что группа поддерживала сходство; отрицательное — что без неё сходство выросло. Контраст существительных и служебных слов повторяется во всех трёх парах именно для энергии.