За пределами точности: что усваивают модели распознавания эмоций по речи?

Высокая точность эмоций на случайно перемешанных репликах не означает такой же точности для нового человека. Авторы воспроизводят семь конфигураций и сопоставляют обычное разделение записей с разделением по дикторам. Особенно полезно, что рядом с величиной падения показана исходная точность: малый разрыв бывает следствием слабого обучения, а не устойчивого представления эмоций.

Метод. Сравниваются замороженный wav2vec2 с небольшой головой, CNN, рекуррентные варианты, EmoFormer и спектрограммный ViT на RAVDESS, EMO-DB и SAVEE; для EmoFormer добавлен EARS. В строгом режиме тестовые и проверочные дикторы отделены от обучающих, нормирование оценивается только на обучении, дополненные записи не пересекают границы выборок. Контроль воспроизводит случайное разделение и практику исходных работ. Средние контрольные результаты получены по нескольким случайным разбиениям, строгие по дикторным блокам.

Результаты. На SAVEE Ahmed A меняет точность с 88,12 до 25,00%, EmoFormer с 89,07 до 29,58%. У wav2vec2 на EMO-DB сохраняется 89,91% против 96,79% в контроле. На EARS EmoFormer падает с 80,43 до 49,55%. Таким образом, разница доходит до 63,12 процентного пункта, а смена CNN-головы на LSTM или GRU в группе Ahmed не снимает проблему. При этом разные числа эмоций нельзя смешивать: результаты четырёхклассового EMO-DB отделены от основного семиклассового сравнения.

Ограничения. Аудит в основном относится к маленьким корпусам сыгранных эмоций; на SAVEE всего четыре диктора и после выделения проверочного остаются лишь два обучающих. Одновременно меняются дикторный состав, нормирование и обращение с дополнением данных, поэтому разрыв нельзя причинно приписать одной идентичности человека. Каждый диктор произносит несколько эмоций, и знание его имени само по себе не определяет класс. Нет формальных тестов значимости и широкого семейства самообученных кодировщиков. Преимущество единственного wav2vec2 не доказывает полной дикторной инвариантности.

Фишка из статьи. Таблица IV показывает, почему долю сохранённой точности нужно читать вместе с уровнем контроля. Значения для разных корпусов не являются общей таблицей сложности одной и той же задачи.

Как это читать: ViT имеет небольшой разрыв, но значительно хуже wav2vec2 уже в удобном контроле. Это не свидетельство лучшей устойчивости. Более аккуратный вывод аудита состоит в чувствительности рейтингов к протоколу, а не в доказанном проценте «запомненных личностей». Для прикладного сравнения нужны и строгие дикторные выборки, и явное описание всех сопутствующих изменений.

Источник. Оригинальное название: Beyond Accuracy: What Are Speech Emotion Recognition Models Learning?. arXiv:2610.33952; полный текст PDF.