AGF-Net: распознавание эмоций при рассогласовании речи и изображения

AGF-Net объединяет автоматическое выделение реплик, поиск соответствующих им визуальных событий и изменение весов модальностей по надёжности. Исходная задача практична: в разговоре выражение лица не обязано меняться точно вместе со звуком, а ручные границы реплик недоступны. Работа проверяет не только классификатор, но и цену решения о завершении речевого сегмента.

Метод. Silero VAD со сглаживанием, гистерезисом и адаптивными окончаниями формирует сегменты; частичное распознавание помогает не разрезать фразу на паузе. AGF предсказывает центр и ширину подходящего визуального интервала для каждого аудиособытия и вводит гауссовское смещение во внимание. PDF оценивает надёжность звуковой, визуальной и объединённой ветвей, а MNL после разогрева помогает слабой модальности подавлять нецелевые классы. Входы строятся на wav2vec2.0 и признаках лиц. Проверяется IEMOCAP, четыре эмоции, десять актёров.

Результаты. В пятикратной LOSO-проверке добавление AGF повышает точность с 53,74±4,47 до 54,65±3,98%, Macro F1 с 52,61±6,16 до 53,87±5,53%. Последующее PDF увеличивает чистый Macro F1 с 56,79 до 57,40%. F1 автоматической сегментации при IoU больше 0,5 растёт с 0,4372 до 0,4608, но средняя задержка окончания меняется с 546,8 до 564,0 мс. Это только задержка решения о границе, не полного распознавания эмоции.

Ограничения. Один постановочно-разговорный корпус и десять актёров не устанавливают перенос в другие языки и условия. Гауссовский шум не заменяет реальные помехи и монтажные сдвиги. Его параметр λ=5 или 10 задаёт масштаб добавки, а не SNR в децибелах. Внешняя сравнительная таблица сообщает иные точечные результаты, чем LOSO-абляции; складывать между ними выигрыши нельзя. Средние прибавки малы относительно межфолдового разброса, значимость каждой не установлена.

Фишка из статьи. Таблица 5 удерживает пятикратный протокол и сравнивает только динамическое взвешивание PDF. Его польза выше на испорченных входах, но не устраняет падение качества.

Как это читать: выбор более надёжной ветви уменьшает ущерб примерно на два процентных пункта в шумных условиях, но оставляет систему хуже чистого варианта. В таблице приросты округлены авторами немного иначе, чем разности напечатанных средних; здесь приведены сами средние. Надёжность объединения, точность временного соответствия и качество сегментации требуют отдельных измерений, не одного общего заявления об устойчивости.

Источник. Оригинальное название: AGF-Net: A Robust Multimodal Emotion Recognition Model for Asynchronous Audio-Visual Signals Based on Predictive Dynamic Fusion with Negative Learning. arXiv:2610.30651; полный текст PDF.