MiD-ERC: распознавание эмоций диалога с учётом расхождений между речью, текстом и видео

Спокойный текст может сопровождаться раздражённым голосом, а выражение лица не обязано совпадать ни с тем, ни с другим. MiD-ERC оценивает расхождение эмоциональных прогнозов разных модальностей и меняет способ их объединения. Основная идея состоит не в безусловном доверии большинству, а в сохранении конкурирующих свидетельств для итоговой языковой модели.

Метод. Отдельные ветви текста, звука и изображения учитывают историю разговора через DialogueRNN и граф связей с прошлыми репликами. Нормированная дивергенция Jensen–Shannon между их распределениями эмоций задаёт общий уровень несогласия. Обучаемая надёжность оценивается для каждой модальности отдельно. Эти величины управляют перекрёстными связями, температурой весов и инструкцией для Qwen2.5-7B-Instruct: при сильном расхождении предлагается сопоставлять свидетельства, а не принимать объединённый вектор как готовый ответ. Требуется один проход LLM на реплику.

Результаты. На IEMOCAP получены Accuracy 73,44% и взвешенный F1 73,38%, на MELD 71,79% и 70,60%. Относительно воспроизведённого Causal-ERC выигрыш по взвешенному F1 равен 1,92 и 1,58 процентного пункта. В авторском сравнении время вывода почти вдвое меньше за счёт одного, а не двух проходов LLM; единица времени в таблице 3 явно не подписана, поэтому абсолютную задержку по ней лучше не нормировать. На группе сильного расхождения выигрыш больше, 2,87 и 3,88 пункта; на слабом расхождении он исчезает либо немного обращается.

Ограничения. Два постановочных англоязычных корпуса не охватывают реальную неоднозначность эмоций и культурные различия. Надёжность обучается по эмоциональным меткам и качеству исходных одномодальных классификаторов, а не измеряет истинное внутреннее состояние человека. Причинный граф истории не делает весь акустический и языковой тракт доказанно потоковым. Ускорение относится к конкретной реализации и не устанавливает сквозную задержку от микрофона. Некоторые внешние сравнения используют дополнительные компоненты или переразметку, что важно учитывать.

Фишка из статьи. Таблица 4 позволяет отделить пользу самого звука от сложности полного механизма. Ниже взвешенный F1; последняя строка сохраняет модель, но заменяет адаптивную инструкцию статической.

Как это читать: добавление аудио само по себе не объясняет весь выигрыш: на MELD оно приносит лишь 0,40 пункта, а адаптивное использование свидетельств даёт дополнительную пользу. Но такая абляция проверяет систему целиком при переобучении, а не причинно доказывает, что конкретная услышанная эмоция определила каждый правильный ответ.

Источник. Оригинальное название: Mind the Divergence: Divergence-Guided Reliability-Aware Fusion and Adaptive LLM Prompting for Conversational Emotion Recognition. arXiv:2611.08860; полный текст PDF.