Мультимодальное определение эмоций с агентной проверкой свидетельств и целевым исправлением инструкций
Вместо переобучения весов авторы меняют инструкции конкретному звену системы, которое регулярно создаёт неподтверждённые выводы об эмоциях. Раздельные агенты собирают зрительные, акустические и текстовые наблюдения со ссылками на источник. Важное различие состоит между существованием свидетельства и его смыслом: настоящий кадр с лицом ещё не доказывает, что человек сердится.
Метод. Зрительный агент получает до восьми кадров, акустический не сырой звук, а текстовые значения высоты, её дисперсии, RMS, темпа и паузы по сегментам распознавания; лексический агент цитирует транскрипцию. Интегратор использует общую доску и пять примеров из памяти MER-Caption, критик допускает одну правку. В обучающем контуре неверные ответы проверяются на существование ссылок, наличие лица, совпадение пересчитанных акустических чисел в пределах 15% и смысловое следование через DeBERTa. Пять однотипных ошибок образуют основание для исправления инструкции, принимаемого лишь без ухудшения отдельной проверочной выборки.
Результаты. На MER2025 с 480 отложенными четырёхсекундными фрагментами целевые правки повышают F-score всех четырёх каркасов на 0,6–2,2 пункта относительно неизменяемого агентного конвейера. У Qwen2.5-VL-7B показатель меняется с 52,3 до 54,5, у InternVL2.5-38B с 59,1 до 61,2. Общее неадресное размышление ухудшает результат каждого каркаса. Метрика сопоставляет открытые названия эмоций через словари синонимов и пять эмоциональных колёс, а не проверяет точное совпадение свободного текста.
Ограничения. Это не непосредственный анализ всех акустических нюансов: аудио сведено к пяти числам на сегмент. Детерминированный контроль лица не проверяет истинность выражения, а смысловой контролёр согласуется с людьми лишь в 84% из 56 размеченных пар. Проверка ошибок использует истинную метку и потому относится к адаптации, не к всеведущему фильтру на новых входах. Правильные метки с ложным объяснением не аудируются. Переиспользуемая выборка принятия правок содержит только 60 примеров; вычислительная экономия без обновления весов не равна дешёвому выводу нескольких агентов.
Фишка из статьи. Абляция InternVL в таблице 2 показывает, что главный страховочный механизм находится не в ещё одном критике, а в проверке предлагаемых изменений на отложенных примерах.
| Удалённый компонент | F-score, % | Потеря относительно полного метода, п.п. |
|---|---|---|
| Ничего: полный метод | 61,2 | 0,0 |
| Критик перед финальным ответом | 60,7 | 0,5 |
| Детерминированные проверки | 60,3 | 0,9 |
| Проверка смыслового следования | 60,0 | 1,2 |
| Группировка одинаковых ошибок | 59,4 | 1,8 |
| Проверка новой инструкции на отложенной выборке | 58,2 | 3,0 |
Как это читать: правдоподобное исправление без независимого допуска может вредить сильнее, чем отсутствие части проверок свидетельств. Но эта абляция не доказывает универсальное превосходство агентной схемы: затраты вызовов и устойчивость на иных корпусах не измерены достаточно широко. Для инженерного переноса полезнее всего разделение механической достоверности ссылок, смысловой поддержки вывода и проверки качества самого обновления.
Источник. Оригинальное название: An Agentic Approach with Evidence-Grounded Verification for Multimodal Emotion Reasoning in Conversation. arXiv:2610.31685; полный текст PDF.