Паралингвистика Речевые представления Социальная акустика
arXiv cs.CL

DyShip: определение знакомства и родства собеседников по акустическим признакам диалога

ArXiv:2611.14241

DyShip проверяет, содержат ли звуки разговора информацию о знакомстве и родстве двух участников без обращения к расшифровке. Интересен сравнительный результат: обычные спектральные признаки оказываются сильными для знакомства, а высокая способность ранжировать родство по голосовым векторам не превращается в хорошую классификацию при выбранном пороге.

Метод. Из Seamless Interaction отбираются диалоги двух людей с известными отношениями. Получается около 614 часов; говорящие между обучением, разработкой и тестом не пересекаются. Сравниваются спектрограммы, MFCC, замороженные WavLM, оценки движений артикуляторов SPARC и ECAPA x-vectors. Для временных признаков обучается ResNet-34 по пятисекундным фрагментам, для голосовых векторов RBF-SVM. Предсказания объединяются по разговору простым или взвешенным по длительности средним, затем пробуются комбинации признаковых систем.

Результаты. Спектрограммы при учёте длины высказываний дают 87,81% точности и 83,76% macro-F1 по знакомству. MFCC достигают AUC 0,917. Для родства WavLM получает точность 85,17% и macro-F1 73,69%, а x-vectors AUC 0,909 при macro-F1 лишь 45,46%. Простое объединение всех систем даёт macro-F1 86,87% для знакомства и 87,27% для родства, AUC 0,925 и 0,916 соответственно.

Ограничения. Разработка содержит 47 пар, тест 55; многократные разговоры одной пары зависимы. Родственные пары составляют около 5,14% корпуса, поэтому точность без macro-F1 вводит в заблуждение. Разработочная выборка ограничена длинными фрагментами, тест включает все длительности. Сопоставление с опубликованными людьми и языковыми моделями не контролирует одинаковую продолжительность входа и обучение. Работа не устанавливает причинные акустические признаки отношений.

Фишка из статьи. Таблица 2 на с. 4 полезна как предупреждение о выборе порога и обучении объединяющего классификатора на маленькой разработочной выборке. По родству простое усреднение выигрывает у обученного SVM сразу по всем показателям.

Система для родстваТочность, %Macro-F1, %AUC
Голосовые x-vectors83,3645,460,909
Объединение через SVM76,9478,070,798
Простое объединение88,9687,270,916

Как это читать: AUC показывает ранжирование на множестве порогов; macro-F1 относится к конкретному решению и чувствителен к редкому классу. Поэтому 0,909 AUC не разрешает игнорировать 45,46% macro-F1. Результат подходит для исследовательского анализа, но не для автоматического установления личных отношений по голосу без отдельной проверки переноса и ошибок.

Источник. Оригинальное название: Dyship: Leveraging Acoustic Features For Speaker Relationship Classification From Dyadic Conversations. arXiv:2611.14241; полный текст PDF.

Оригинальная статья на arXiv