AudioSphere: самообучение пространственных аудиопредставлений с моделированием комнатной акустики

AudioSphere переносит самообучение аудиопредставлений с моносигнала на пространственное звуковое поле. Маскированный автокодировщик учится восстанавливать признаки Ambisonics и затем помогает одновременно распознавать события и оценивать направления источников. Работа особенно интересна сочетанием моделирования комнатных откликов с переносом между геометриями микрофонных решёток.

Метод. Для 70 помещений Matterport3D моделируют по тысяче конфигураций, всего 70 тысяч наборов импульсных откликов Ambisonics. Клипы AudioSet свёртываются с ними и смешиваются с локализованным либо диффузным шумом. Модель получает мел-спектрограммы каналов первого порядка и векторы акустической интенсивности. На выводе фиксированное регуляризованное преобразование ASM переводит известную геометрию решётки в Ambisonics; обучаемых параметров у этого входного преобразования нет. Это MAE для признаков и самообучения, не VAE-аудиокодек с заданным битрейтом.

Результаты. На TAU-2019 замороженный кодировщик с обученной малой выходной сетью даёт F-score 84,6 ± 2,1 и ошибку направления 14,1 ± 1,3° против 79,9 и 28,5° у SELDNet, хотя полнота локализации ниже: 78,5 против 85,4. При переводе тетраэдрического микрофонного входа через ASM ошибка возрастает до 21,2°. На динамическом TAU-2021 неглубокая покадровая сеть слабее ориентира; временная выходная сеть и дообучение существенно меняют картину.

Ограничения. Предобучение использует статические источники; движение требует специальной временной обработки на последующей задаче. Моделируемая реверберация поверх уже реверберирующего AudioSet не заменяет реальные новые акустические условия. ASM зависит от пространственной разрешающей способности реальных микрофонов и не создаёт потерянную информацию. Оценены направления и обнаружение событий, но не расстояние, удаление реверберации или восстановление параметров комнаты. Замороженный кодировщик не означает отсутствие обучения выходного классификатора.

Фишка из статьи. Таблица 5 показывает, что пространственное представление и отслеживание движущихся источников являются разными задачами. Ниже только TAU-2021, с метрикой обнаружения в пределах 20° и ошибкой локализации по классам.

Как это читать: на той же задаче замена покадровой головы на временную помогает даже без изменения кодировщика. Поэтому слабый результат простого линейного или MLP-пробника ещё не опровергает наличие полезных пространственных признаков. Но лучший результат последней строки уже нельзя приписывать одному лишь универсальному замороженному представлению.

Источник. Оригинальное название: AudioSphere: Towards Self-Supervised Spatial Audio Representation Models. arXiv:2611.09275; полный текст PDF.