Какую эмоцию считать истинной: заданная актёру категория и восприятие слушателей в Emozionalmente

Эмоция, которую попросили изобразить актёра, и эмоция, которую услышали люди, являются разными целями распознавания. Emozionalmente позволяет сравнить их на одних записях: есть заданная категория и пять независимых суждений на клип. Работа показывает, почему выбор единственной метки скрывает неопределённость, а распределение голосов улучшает вероятностную оценку без обязательного роста обычной точности.

Метод. На итальянском актёрском корпусе сравниваются три цели: исходная инструкция, наиболее частый ответ слушателей с детерминированным разрешением ничьей и полная гистограмма по семи классам. Заморожены XLS-R 300M, HuBERT Large и WavLM Large; используются одинаковые семейства небольших классификаторов и пять запусков. Разбиение по дикторам составляет 4142/1380/1380 клипов. Жёсткие решения оцениваются UAR, вероятности — KL и Brier относительно голосов слушателей; отдельно рассматриваются неоднозначные случаи.

Результаты. Согласие отдельного слушателя с исходной инструкцией составляет 0,6638, агрегированной метки большинства 0,7905; это разные единицы подсчёта. Лучшие выбранные конфигурации достигают UAR 0,825 для инструкции и 0,746 для большинства, но сравнивать их как одну задачу нельзя. В согласованном сравнении обучения по большинству и по распределению жёсткая UAR близка: 0,731 и 0,736. При этом KL уменьшается с 1,223 до 0,510, Brier с 0,236 до 0,162, то есть вероятности заметно лучше отражают альтернативные восприятия.

Ограничения. Один язык, актёрские категории и пять оценок не представляют всё разнообразие естественной эмоции. Некоторые победители по слоям и конфигурациям выбраны постфактум по средней тестовой UAR; их числа могут быть оптимистичнее независимого выбора на валидации. Повторные выборки клипов условны на уже обученных моделях и не охватывают всю неопределённость поиска. Исследование не измеряет внутреннее эмоциональное состояние человека.

Фишка из статьи. На 145 тестовых клипах с ничьей мягкая цель ухудшает совпадение с выбранной единственной меткой, но резко улучшает описание реального разногласия слушателей. Это не противоречие, а разные требования к выходу модели.

Как это читать: при ничьей эталонный победитель частично определяется правилом агрегации, а не всеобщим восприятием. Система, сохраняющая вероятности двух правдоподобных эмоций, может проиграть такой метке и при этом лучше выполнить человечески значимую задачу. Поэтому при использовании эмоций в интерфейсе полезно публиковать согласие разметчиков и распределительные метрики вместе с accuracy или F1.

Источник. Оригинальное название: Label Authority in Speech Emotion Recognition: Intended and Perceived Ground Truth in Emozionalmente. arXiv:2610.26446; полный текст PDF.