MoIF: подавление неустойчивых межмодальных взаимодействий при распознавании юмора
MoIF распознаёт юмор по тексту, голосовой подаче и изображению, ограничивая чрезмерную зависимость от сложных сочетаний модальностей. Математический ход состоит в фильтрации взаимодействий разного порядка через преобразование Мёбиуса. Это спектр межмодальных взаимодействий, а не частотный спектр аудиосигнала и не новый метод частотно-временного анализа.
Метод. Сеть строит предсказания для семи непустых подмножеств текста, аудио и видео, используя общие частные кодировщики и попарное взаимное внимание. Усреднение этих предсказаний эквивалентно фиксированным весам 4/7, 2/7 и 1/7 для взаимодействий первого, второго и третьего порядка. Вклад каждой подзадачи дополнительно обучается по целевой метке. Текст кодирует RoBERTa-large, акустические и зрительные последовательности двунаправленные LSTM, общая размерность 128. Оператор участвует в обучении, а не только сглаживает готовые выходы после него.
Результаты. На UR-FUNNY по пяти запускам точность и взвешенная F1 равны 70,6 ± 0,4%; у сильного воспроизведённого TLRRB 67,3 ± 0,9% и 67,2 ± 0,9%. MAE уменьшается до 0,599 против 0,656. Дополнительные MOSI и MOSEI показывают перенос рецепта на оценку эмоциональной окраски, но не абсолютное лидерство по всем метрикам: например, корреляция юмористического балла у MISA немного выше.
Ограничения. Это исследование на фиксированных мультимодальных признаках и известных корпусах, не тест на шумном микрофоне в реальном времени. Контролируемые возмущения применяются к внутренним частным признакам, а не к звуковой волне. Общая модель содержит большой текстовый кодировщик; эффективность малого слияния не равна малой стоимости всей системы. Некоторые базовые системы используют другой текстовый кодировщик. Причинная значимость отдельных модальностей зависит от контекста.
Фишка из статьи. Таблица 5 на с. 13 изолирует устойчивость на одних и тех же пяти контрольных точках при относительном возмущении признаков 10%. Снижение шума и выигрыш SNR сравниваются с полным трёхмодальным предсказателем, сохранность сигнала с чистым выходом самого MoIF.
| Возмущённые признаки | Снижение шума, % | Отношение SNR | Сохранность сигнала, % |
|---|---|---|---|
| Аудио | 61,02 | 1,950 | 99,998 |
| Аудио и видео | 62,61 | 2,010 | 100,008 |
| Все три модальности | 63,38 | 2,052 | 99,947 |
Как это читать: Оператор подавляет изменчивость без заметного ослабления полезного собственного выхода. Значение 100,008% не означает создание информации: это оценка отношения в выбранном определении сигнала. Результат поддерживает регуляризацию взаимодействий, но его нельзя переводить в децибелы улучшения речи или обещание устойчивости к реальным кодекам.
Источник. Оригинальное название: M\"obius Interaction Filtering: Order-Selective Spectral Regularization for Multimodal Humor Detection. arXiv:2611.12913; полный текст PDF.