SAVU-Bench: реальный тест пространственного аудиовизуального понимания

SAVU-Bench проверяет, понимают ли мультимодальные модели, где именно находится звучащий объект в реальной сцене, а не только узнают ли они звук и изображение по отдельности. Записи используют видео и пространственный звук первого порядка Ambisonics, а семь задач разлагают итоговую ошибку на обнаружение, привязку модальностей и рассуждение.

Метод. Тест охватывает двунаправленное заземление «звук → изображение» и «изображение → звук», семантику, пространственные отношения и составные вопросы. Для каждой задачи есть диагностические предпосылки: модель могла не найти объект, неверно связать источники или ошибиться уже после правильного восприятия. SAVU-EA без обучения извлекает явные аудио- и видеосвидетельства и добавляет их в запрос к базовой модели.

Результаты. На человеческом подмножестве лучшие базовые модели достигают лишь 40% в совместном A2V, 43,33% в V2A и 46,67% в рассуждении против 66,67%, 65,33% и 85% у людей. Для Gemini 3.6 добавление SAVU-EA повышает аудиозаземление с 52,5% до 83,2%, совместное A2V с 35,4% до 54,5%, V2A с 42,8% до 64,5%, рассуждение с 44,8% до 59,4%. Семантика при этом слегка падает с 65,7% до 64,7%.

Ограничения. Тест конечен и частично зависит от процедуры разметки и генерации вопросов. Сравниваются в том числе закрытые модели, а обучаемая базовая линия отсутствует. Явный извлекатель SAVU-EA сам может ошибаться, и прирост не означает, что базовая модель сформировала внутреннее пространственное представление.

Фишка из статьи. Два одинаковых итоговых балла могут скрывать противоположные отказы. У Spatial-Omni почти половина ошибок сочетает неверное обнаружение и привязку, тогда как у OmniVideo 61,4% ошибок возникают уже на этапе обнаружения. Значит, общий балл не подсказывает, какой модуль улучшать.

Как это читать: конечная точность пространственного вопроса смешивает несколько способностей. Диагностическое разложение показывает, нужна ли модели лучшая акустическая локализация, межмодальная привязка или собственно рассуждение.