Интерпретируемое распознавание эмоций в пении по акустическим признакам и вокальным приёмам

Работа проверяет, что меняется при замене универсальных речевых признаков компактным набором, учитывающим пение. Помимо высоты, тембра и артикуляции используются оценки вибрато, фальцета, придыхания и других вокальных приёмов. Основная польза не в большом скачке точности: признаки делают модель стабильнее между исполнителями и помогают объяснять её решения в акустических терминах.

Метод. Из 130 скалярных характеристик выбирается устойчивый набор во вложенной схеме leave-one-singer-out с удалением коррелирующих признаков. Фонетические длительности получают через Montreal Forced Aligner, шесть вокальных приёмов оценивает двухвходовая CNN по мел-спектрограмме и контуру высоты. Для каждого приёма берутся статистики покадровых вероятностей. Эмоции распознают XGBoost на RAVDESS и Random Forest на GTSinger; SHAP объясняет вклад признаков, Grad-CAM качественно проверяет области внимания CNN. Признаки нормируются отдельно по исполнителю.

Результаты. На 1012 певческих фрагментах RAVDESS от 23 исполнителей набор из 18 признаков даёт UAR 79,6% против 76,2% у 19 речевых признаков; междикторское стандартное отклонение уменьшается с 9,5 до 6,5 пункта. На GTSinger, где семь вокалистов и только две эмоции, UAR меняется с 60,2 до 61,0%, а разброс с 5,8 до 3,3 пункта. CNN вокальных приёмов на отложенном итальянском языке имеет Macro-F1 лишь 0,42: интерпретация опирается на довольно шумные оценки.

Ограничения. RAVDESS содержит сыгранные эмоции, GTSinger мало исполнителей и классов. Нормирование по человеку требует его статистики и не эквивалентно независимой обработке единственной новой записи. VocalSet размечен по технике, не по эмоциям: согласование предсказаний с вокальными приёмами нельзя выдавать за подтверждённую точность распознавания эмоций на новом корпусе. SHAP и Grad-CAM показывают связи с решением модели, не причинное влияние приёма на переживание или восприятие.

Фишка из статьи. Абляция RAVDESS в таблице II полезна тем, что ограничивает громкую интерпретацию роли вокальных приёмов. Отдельно они слабы, а почти всю итоговую точность можно получить и без них.

Как это читать: вокальные признаки добавляют прежде всего интерпретируемый словарь и небольшую стабилизацию, а не объясняют весь выигрыш. Анализ SHAP даёт содержательный пример взаимодействия: изменчивое вибрато связано с sad при медленной артикуляции и с happy при быстрой. Из этого не следует универсальное правило «вибрато означает грусть»; смысл акустического признака зависит от контекста.

Источник. Оригинальное название: Interpretable Singing Emotion Recognition Using Acoustic and Vocal Technique Features. arXiv:2610.32629; полный текст PDF.