Как учитывать несоответствие слов и интонации при оценке распознавания эмоций аудиоязыковыми моделями
Слова могут выражать одну эмоцию, а голос другую; общий рейтинг распознавания не показывает, как модель переживает такой конфликт. Авторы строят непрерывную оценку несоответствия и проверяют её связь с ошибками на постановочной, разговорной и спонтанной речи. Центральный результат относится к надёжности объединения каналов, а не к новому классификатору эмоций.
Метод. Текстовые слова отображаются словарём NRC в пространство эмоциональной окраски, возбуждения и доминирования, а аудио оценивается wav2vec2-large, адаптированной на MSP-Podcast. Расстояние между двумя векторами превращается в вероятность компоненты с большим расхождением через двухкомпонентную GMM, обученную только на тренировочной части. Проверяются два шаблона инструкции, текстовый и текстово-звуковой входы. Главная регрессия учитывает класс эмоции, геометрию признаков и зависимость наблюдений. Здесь VAD означает valence–arousal–dominance, а не детектор речевой активности.
Результаты. Для одного и того же GPT-audio в обоих режимах повышенное расхождение связано с ростом шансов ошибки в текстово-звуковом условии во всех трёх корпусах: eNTERFACE OR 1,25, MELD 1,15, MOSEI 1,20. Это отношения шансов, не прибавки 25, 15 и 20 процентных пунктов ошибки. Автоматическая оценка согласуется с человеческой, корреляция Спирмена 0,65. Классификаторы, обученные на тех же компактных признаках, показывают обратную тенденцию: трудность не следует автоматически приписывать отсутствию полезной информации в сигнале.
Ограничения. Измеряется наблюдаемая связь, а не причинное вмешательство во внутреннее объединение каналов. Словарь игнорирует композицию, сарказм и контекст; полностью неизвестные ему реплики исключаются. Автоматический аудиорегрессор сам неточен. На MOSEI исключено около 14–16% невалидных ответов GPT, что может смещать оценку; длинные записи обрезаются до 30 с. Реализация Qwen различается между корпусами, полное покрытие GLM ограничено, поэтому нельзя считать все межмодельные сравнения единым контролируемым опытом. Эмоциональная метка сама по себе неоднозначна.
Фишка из статьи. Контроль таблицы VIII оставляет текст, инструкции, метки и оценку конфликта неизменными, меняя только модель, которая читает транскрипцию. Ниже текстовый вход без аудио; интервалы относятся к OR.
| Корпус и текстовая модель | Точность | OR ошибки при расхождении |
|---|---|---|
| eNTERFACE, gpt-5.2 | 0,832 | 1,12 [0,91; 1,37] |
| eNTERFACE, gpt-audio-1.5 | 0,818 | 0,78 [0,63; 0,97] |
| MOSEI, gpt-5.2 | 0,543 | 1,23 [1,14; 1,33] |
| MOSEI, gpt-audio-1.5 | 0,536 | 1,24 [1,14; 1,35] |
Как это читать: на одном корпусе замена читающей модели меняет даже знак эффекта, на другом почти ничего не меняет. Если текстовый контроль выполняет одна модель, а звук получает другая, разницу нельзя уверенно объявить пользой или вредом аудио. Проверка с одинаковой моделью важнее внешне близкой общей точности. Несоответствие стоит использовать для стратификации теста и поиска отказов, а не как готовый универсальный детектор ошибочного ответа.
Источник. Оригинальное название: Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models. arXiv:2610.40883; полный текст PDF.