Межъязыковой перенос представлений говорящего и его акустическая основа

Когда человек переходит с английского на кантонский, сходство его голоса может снижаться и для модели, и для слушателя. Авторы сопоставляют геометрию представлений восемнадцати моделей с человеческими суждениями и акустическими признаками на одних коротких фразах. Интересен отрицательный результат: небольшое кантонское дообучение не улучшает согласие с восприятием.

Метод. Используются десять ранних двуязычных женщин из SpiCE, по две короткие фразы на каждом языке. Сорок слушателей, поровну двуязычных и англоязычных без кантонского, оценивают 220 пар по девятибалльной шкале различия. Представления ResNet, SimAM, ECAPA и CAM++ сравниваются до и после кантонского дообучения примерно на девяти часах двух корпусов. Для каждого строится матрица 1−cosine, сопоставляемая по Спирмену с восприятием и 29 акустическими величинами: высотой тона, формантами, гармоническим балансом, шумовыми характеристиками и темпом. Смешанные линейные модели учитывают повторное использование пар и моделей.

Результаты. Средняя корреляция машинных и перцептивных матриц равна 0,44, диапазон 0,34–0,57. Среднее косинусное сходство одной личности 0,78, разных 0,60, но контраст зависит от языкового режима. После кантонского дообучения общее сходство слегка уменьшается с 0,64 до 0,63; эффект на согласие с восприятием незначим, p = 0,173. Для английских пар заметны связи с высотой тона и выраженностью кепстрального пика, для кантонских — с формантами и высокочастотным гармоническим балансом. Это ассоциации признаков, не доказательство их причинного использования.

Ограничения. Десять говорящих одного пола, две фразы на язык и записи около 1,2–1,9 с не представляют открытый многоязычный мир. Большое число моделей не увеличивает число независимых людей. Не измерены EER, распознавание на шуме и реальная работа голосовой биометрии; высокое сходство нельзя прямо объявлять низкой ошибкой верификации. Отрицательный результат дообучения не исключает пользы большего или иначе подобранного корпуса. Рукопись находится в новом списке arXiv, но её история первой подачи указывает август 2026 года.

Фишка из статьи. Раздел 3.1 показывает ослабление различимости при смене языка. Ниже среднее сходство всех пар и оценённый контраст «один человек минус разные люди»; это разные статистики, не точность классификации.

Как это читать: при смене языка уменьшается именно разрыв между одной и разными личностями, а не только общий масштаб сходства. Это объясняет, почему единый порог может вести себя по-разному в межъязыковых парах. Однако по этим средним нельзя восстановить EER без полных распределений. Аналогия с человеческим восприятием ограничена этим контролируемым материалом и не означает одинакового механизма слуха и сети.

Источник. Оригинальное название: Human-like cross-language generalisation in deep neural speaker embeddings and its acoustic foundations. arXiv:2611.05384; полный текст PDF.