BiSID-AVS: выбор звучащего объекта среди одинаковых по бинауральному звуку

Если на изображении два объекта одной категории, монофонический звук подсказывает категорию, но не обязательно нужный экземпляр. BiSID-AVS добавляет бинауральную геометрию к визуальной сегментации и выбирает именно звучащую область. Убедительный контроль — резкое ухудшение при перестановке каналов, когда категория звука остаётся прежней, а пространственная информация меняется.

Метод. Моноусреднение двух каналов через VGGish определяет семантически подходящие области. Отдельный свёрточный кодировщик двух кохлеограмм сохраняет межушные различия и строит запрос направления относительно наблюдателя. Этот запрос сопоставляется с визуальными признаками и позиционным кодированием SAM, формируя пространственную карту. Она одновременно модулирует признаки и поступает как плотная подсказка декодеру маски. Кодировщики SAM ViT-H и VGGish заморожены; новые модули и декодер обучаются. Это обработка бинауральных признаков, не явная оценка фазового спектра или алгоритм улучшения речи.

Результаты. На многокандидатной части Binaural AVS-Synthetic mIoU составляет 0,7001 против 0,3482 у сильнейшего приведённого конкурента, прибавка 35,19 п.п. На Habitat-AVS 0,8952 против 0,4831, прибавка 41,21 п.п. При исключении целой сцены из обучения mIoU многокандидатной части сохраняется на 0,8543. На простых примерах с единственным кандидатом новый метод может немного уступать: дополнительная геометрия полезна не всегда. Показатель IoU оценивает маску изображения, а не точность распознавания или выделения звука.

Ограничения. Обе основные базы синтезируют бинауральный сигнал: первая по HRTF и оценённой глубине изображения, вторая через SoundSpaces в четырёх помещениях. Реальная робототехническая демонстрация качественная, не замена крупному измеренному тесту. Сравнение ориентировано на одну статичную картинку; видеомоделям повторяют кадр, исключая их привычное преимущество движения. Для каждого разбиения обучение проведено с одним начальным состоянием генератора случайных чисел. Нет установленной сквозной задержки, переноса между реальными ушами и устойчивости к нескольким одновременно звучащим объектам.

Фишка из статьи. Таблица 3 меняет только соответствие аудио и сцены на многокандидатной части Habitat-AVS. Fsame ниже отражает ошибочную активацию незвучащих объектов той же категории; меньше лучше.

Как это читать: сохранения семантики недостаточно: модель действительно использует соответствие межушных признаков геометрии. Одновременно этот опыт выявляет зависимость от правильной ориентации каналов и согласованной акустической модели. Большая прибавка на синтетическом тесте не гарантирует столь же большой выигрыш при неизвестной голове, ориентации датчиков или неподходящей HRTF; такие сдвиги нужно проверять отдельно.

Источник. Оригинальное название: Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation. arXiv:2611.06074; полный текст PDF.