DyShip: определение знакомства и родства собеседников по акустическим признакам диалога
DyShip проверяет, содержат ли звуки разговора информацию о знакомстве и родстве двух участников без обращения к расшифровке. Интересен сравнительный результат: обычные спектральные признаки оказываются сильными для знакомства, а высокая способность ранжировать родство по голосовым векторам не превращается в хорошую классификацию при выбранном пороге.
Метод. Из Seamless Interaction отбираются диалоги двух людей с известными отношениями. Получается около 614 часов; говорящие между обучением, разработкой и тестом не пересекаются. Сравниваются спектрограммы, MFCC, замороженные WavLM, оценки движений артикуляторов SPARC и ECAPA x-vectors. Для временных признаков обучается ResNet-34 по пятисекундным фрагментам, для голосовых векторов RBF-SVM. Предсказания объединяются по разговору простым или взвешенным по длительности средним, затем пробуются комбинации признаковых систем.
Результаты. Спектрограммы при учёте длины высказываний дают 87,81% точности и 83,76% macro-F1 по знакомству. MFCC достигают AUC 0,917. Для родства WavLM получает точность 85,17% и macro-F1 73,69%, а x-vectors AUC 0,909 при macro-F1 лишь 45,46%. Простое объединение всех систем даёт macro-F1 86,87% для знакомства и 87,27% для родства, AUC 0,925 и 0,916 соответственно.
Ограничения. Разработка содержит 47 пар, тест 55; многократные разговоры одной пары зависимы. Родственные пары составляют около 5,14% корпуса, поэтому точность без macro-F1 вводит в заблуждение. Разработочная выборка ограничена длинными фрагментами, тест включает все длительности. Сопоставление с опубликованными людьми и языковыми моделями не контролирует одинаковую продолжительность входа и обучение. Работа не устанавливает причинные акустические признаки отношений.
Фишка из статьи. Таблица 2 на с. 4 полезна как предупреждение о выборе порога и обучении объединяющего классификатора на маленькой разработочной выборке. По родству простое усреднение выигрывает у обученного SVM сразу по всем показателям.
| Система для родства | Точность, % | Macro-F1, % | AUC |
|---|---|---|---|
| Голосовые x-vectors | 83,36 | 45,46 | 0,909 |
| Объединение через SVM | 76,94 | 78,07 | 0,798 |
| Простое объединение | 88,96 | 87,27 | 0,916 |
Как это читать: AUC показывает ранжирование на множестве порогов; macro-F1 относится к конкретному решению и чувствителен к редкому классу. Поэтому 0,909 AUC не разрешает игнорировать 45,46% macro-F1. Результат подходит для исследовательского анализа, но не для автоматического установления личных отношений по голосу без отдельной проверки переноса и ошибок.
Источник. Оригинальное название: Dyship: Leveraging Acoustic Features For Speaker Relationship Classification From Dyadic Conversations. arXiv:2611.14241; полный текст PDF.