Паралингвистика Мультимодальные модели Робастность
arXiv cs.MM

MoIF: подавление неустойчивых межмодальных взаимодействий при распознавании юмора

ArXiv:2611.12913

MoIF распознаёт юмор по тексту, голосовой подаче и изображению, ограничивая чрезмерную зависимость от сложных сочетаний модальностей. Математический ход состоит в фильтрации взаимодействий разного порядка через преобразование Мёбиуса. Это спектр межмодальных взаимодействий, а не частотный спектр аудиосигнала и не новый метод частотно-временного анализа.

Метод. Сеть строит предсказания для семи непустых подмножеств текста, аудио и видео, используя общие частные кодировщики и попарное взаимное внимание. Усреднение этих предсказаний эквивалентно фиксированным весам 4/7, 2/7 и 1/7 для взаимодействий первого, второго и третьего порядка. Вклад каждой подзадачи дополнительно обучается по целевой метке. Текст кодирует RoBERTa-large, акустические и зрительные последовательности двунаправленные LSTM, общая размерность 128. Оператор участвует в обучении, а не только сглаживает готовые выходы после него.

Результаты. На UR-FUNNY по пяти запускам точность и взвешенная F1 равны 70,6 ± 0,4%; у сильного воспроизведённого TLRRB 67,3 ± 0,9% и 67,2 ± 0,9%. MAE уменьшается до 0,599 против 0,656. Дополнительные MOSI и MOSEI показывают перенос рецепта на оценку эмоциональной окраски, но не абсолютное лидерство по всем метрикам: например, корреляция юмористического балла у MISA немного выше.

Ограничения. Это исследование на фиксированных мультимодальных признаках и известных корпусах, не тест на шумном микрофоне в реальном времени. Контролируемые возмущения применяются к внутренним частным признакам, а не к звуковой волне. Общая модель содержит большой текстовый кодировщик; эффективность малого слияния не равна малой стоимости всей системы. Некоторые базовые системы используют другой текстовый кодировщик. Причинная значимость отдельных модальностей зависит от контекста.

Фишка из статьи. Таблица 5 на с. 13 изолирует устойчивость на одних и тех же пяти контрольных точках при относительном возмущении признаков 10%. Снижение шума и выигрыш SNR сравниваются с полным трёхмодальным предсказателем, сохранность сигнала с чистым выходом самого MoIF.

Возмущённые признакиСнижение шума, %Отношение SNRСохранность сигнала, %
Аудио61,021,95099,998
Аудио и видео62,612,010100,008
Все три модальности63,382,05299,947

Как это читать: Оператор подавляет изменчивость без заметного ослабления полезного собственного выхода. Значение 100,008% не означает создание информации: это оценка отношения в выбранном определении сигнала. Результат поддерживает регуляризацию взаимодействий, но его нельзя переводить в децибелы улучшения речи или обещание устойчивости к реальным кодекам.

Источник. Оригинальное название: M\"obius Interaction Filtering: Order-Selective Spectral Regularization for Multimodal Humor Detection. arXiv:2611.12913; полный текст PDF.

Оригинальная статья на arXiv