Распознавание эмоций Мультимодальность Устойчивость
arXiv cs.CL

Когда звук и видео вводят в заблуждение: проверка мультимодального распознавания эмоций

ArXiv:2611.11987

Добавление аудио и видео не гарантирует, что модель полезно и устойчиво использует оба канала. Авторы фиксируют текст реплики и предшествующий разговор, а звук и видео убирают либо подменяют материалом другого диалога. Такая проверка отличает пользу правильной модальности от чувствительности к ней и от дополнительного вреда несогласованного входа.

Метод. Qwen2.5-Omni-7B, Baichuan-Omni-1.5 и MiniCPM-o2.6 проверяются на MELD и шестиклассовом IEMOCAP. Семь условий включают текст, текст со звуком, текст с видео, полный вход и три вида подмены. Источники подмены выбираются без меток эмоций, из другого диалога, одинаково для всех моделей; проверены три отображения. Помимо точности считается доля изменившихся решений PCR, а статистика учитывает зависимость реплик внутри диалога. В отдельном исследовании Qwen вмешательства маскируют связи внимания последнего запроса к аудио на выбранных слоях.

Результаты. Правильный звук повышает общую точность во всех шести сочетаниях модели и корпуса, в четырёх — со значимостью после поправки. Однако полный аудиовизуальный вход уступает варианту «текст и звук» в пяти из шести случаев. На MELD Baichuan растёт с 36,63% до 40,73% при добавлении звука, но возвращается к 36,63% после добавления видео. Совместная подмена звука и видео ухудшает результат относительно полного входа во всех 18 сравнениях трёх отображений.

Ограничения. Полная подмена аудио меняет и произнесённые слова, поэтому опыт не изолирует чистую просодию. Это стресс-тест, а не оценка реальной частоты рассогласования в продукте. Политики невалидных ответов и нехватки памяти влияют на некоторые сравнения. Механистическое вмешательство ограничено одной моделью и специально отобранной группой ошибок; оно не устанавливает место возникновения любой эмоциональной ошибки.

Фишка из статьи. На Qwen/MELD небольшая итоговая польза полного входа соседствует с заметной чувствительностью к ложному звуку. Таблица разделяет общую точность по всем целям и PCR по парам с валидными ответами, поэтому их разности нельзя механически отождествлять.

ВходТочность, %Изменилось решений относительно полного входа, %
Только текст61,88Не приведено здесь
Правильные текст, звук и видео62,840
Подменён звук59,0015,12
Подменены звук и видео58,1618,78

Как это читать: модель может сильно реагировать на канал, который даёт ей лишь небольшой чистый выигрыш. PCR включает и исправленные, и испорченные, и иначе ошибочные ответы, поэтому не равна потере точности. Проверять нужно оба базиса: правильный полный вход и полное отсутствие заменяемой модальности. Только второй выявляет вред сверх простой потери полезной информации.

Источник. Оригинальное название: When Audio and Video Mislead: Evaluating Multimodal AI for Conversational Emotion Recognition. arXiv:2611.11987; полный текст PDF.

Оригинальная статья на arXiv