MIIB: сохранение общей, уникальной и совместной информации при мультимодальном самообучении
Совпадающие текст, звук и видео не обязаны содержать одну и ту же полезную информацию: интонация может дополнять слова, а не повторять их. MIIB пытается сохранить общую, уникальную и возникающую только при сочетании модальностей информацию. Для речевых технологий это прежде всего смежная работа по распознаванию юмора и эмоциональных свойств, а не новый акустический кодировщик.
Метод. Отдельные кодировщики переводят две аугментированные версии входов в латентные признаки. Один Transformer строит объединённое представление и представления отдельных модальностей, второй обрабатывает их сочетание для выделения взаимодействий. Совместная функция потерь согласует две версии, ограничивает лишнюю информацию и отделяет представление взаимодействий от отдельных признаков. Мотивация опирается на Partial Information Decomposition, но практическое обучение использует вариационные и энтропийные приближения; сами компоненты информации не измеряются точно в битах.
Результаты. На двухмодальных MOSI, UR-FUNNY и MUSTARD линейная классификация достигает 67,4, 65,4 и 66,0% против 63,7, 63,3 и 64,4% у CoMM. Однако такие результаты нельзя все объявлять выигрышем речевого самообучения: в специальном сравнении UR-FUNNY две модальности являются текстом и видео, аудио добавляется только в третьей. Для трёх модальностей новая система получает 66,2 ± 0,85% против 64,8 ± 1,13%. На UR-FUNNY число параметров увеличивается с 7,11 до 7,13M, FLOPs с 0,15 до 0,18G, время обучения на одной RTX 4090 с 0,48 до 0,54 часа.
Ограничения. Основные данные небольшие, например MUSTARD содержит 690 высказываний, и не моделируют открытый голосовой диалог. Нет проверки WER, генерации или улучшения речи и нет установленных потоковых задержек. Значимость взаимодействий InterSHAP подтверждается на UR-FUNNY и MIMIC, но на MOSI и MUSTARD авторы признают слишком высокую дисперсию для надёжного вывода. InterSHAP измеряет зависимость предсказания от взаимодействий, а не тождественную информационно-теоретическую синергию. Настройки регуляризации чувствительны; большее подавление одномодальных признаков может ухудшать классификацию.
Фишка из статьи. Таблица III позволяет отделить преимущество обучения от пользы третьей модальности. Ниже точность линейной классификации юмора; средние и стандартные отклонения, не доверительные интервалы.
| Метод | Текст + видео, % | Текст + видео + аудио, % | Прибавка от аудио, п.п. |
|---|---|---|---|
| CoMM | 63,3 ± 0,51 | 64,8 ± 1,13 | 1,5 |
| MIIB | 65,4 ± 0,90 | 66,2 ± 0,85 | 0,8 |
Как это читать: MIIB лучше в обеих конфигурациях, но его собственная прибавка от звука меньше, чем у ориентира. Следовательно, общая победа системы ещё не доказывает, что она сильнее использует аудиоканал; часть выигрыша уже есть без него. Для мультимодальных речевых исследований такой контроль важнее среднего результата по смешанному набору медицинских, визуальных и речевых задач.
Источник. Оригинальное название: Multimodal Information Interactions Bottleneck for Multimodal Self-Supervised Learning. arXiv:2611.07718; полный текст PDF.