MERP: устойчивое распознавание нескольких эмоций через компактное скрытое представление

MERP распознаёт несколько эмоциональных меток по речи, тексту и видео и рассчитана на ситуацию, когда часть потоков пропадает уже после обучения. Вместо непосредственного смешивания длинных последовательностей модель собирает их в фиксированный набор скрытых элементов. Главный результат проявляется не при умеренной случайной потере данных, а в крайнем случае, когда остаётся только аудио.

Метод. Perceiver-подобный блок сжимает доступные признаки, затем уточняет связанные с метками представления и согласует их через восстановление. Для каждого класса используются положительные и отрицательные прототипы. Дополнительный блок подавляет шум, а обучение включает частотно сформированные возмущения; итоговое объединение учитывает уверенность по каждому классу. Обучающие примеры содержат все модальности: специальные примеры с отсутствующими потоками не добавляются. Фиксированная скрытая размерность стабилизирует стоимость внутреннего рассуждения, но не отменяет вычисления входных кодировщиков.

Результаты. При случайном отключении модальностей с вероятностью 20% micro-F1 на CMU-MOSEI равен 0,563 против 0,559 у LDDU и 0,556 у MulT; на M3ED получены 0,780 против 0,775 у AMP. На A100 при пакете из одного примера обработка занимает 5,28 мс на MOSEI и 5,21 мс на M3ED, у LDDU 7,26 и 7,29 мс. При этом MERP не всегда компактнее: для M3ED обучаются 10,92 млн параметров против 6,41 млн у LDDU.

Ограничения. Пропадание моделируется обнулением целых потоков признаков: это не эквивалент постепенно ухудшающейся записи или неполной транскрипции. Основная таблица использует фиксированное расписание выпадений и seed 1, поэтому разницу в несколько тысячных нельзя объявлять статистически надёжной. Сопоставление крайнего случая показано прежде всего с LDDU, а не со всеми возможными системами. Два набора эмоциональной разметки не доказывают перенос на спонтанный разговор в новом языке.

Фишка из статьи. На одном CMU-MOSEI средний выигрыш при умеренных выпадениях и устойчивость к исчезновению двух потоков имеют совершенно разный масштаб.

Как это читать: разница 0,004 в обычной строке скрывает почти полное разрушение конкурента при смене конфигурации входов. Здесь важно оценивать не только усреднённую вероятность отказа, но и конкретные комбинации доступных потоков. Устойчивость классификатора к их исчезновению не означает, что он может восстановить недостающую информацию: оставшийся результат зависит от того, насколько аудио само объясняет эмоциональную разметку.

Источник. Оригинальное название: MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition. arXiv:2610.29430; полный текст PDF.