ADEUPS: кодирование Ambisonics высокого порядка для разных микрофонных массивов через диффузионное восстановление

Несколько микрофонов не могут однозначно измерить все сферические гармоники звукового поля высокого порядка. ADEUPS объединяет восстановление наблюдаемых компонент и достраивание недостающих в одной обратной задаче. Модель обучается на идеальном Ambisonics, а геометрия конкретного массива входит в расчёт только при восстановлении, что отделяет звуковой априорный закон от устройства записи.

Метод. Диффузионный NCSN++M на 31,1 млн параметров работает с комплексным STFT и учится предсказывать замаскированные порядки гармоник. При выводе известная матрица направленности связывает предполагаемое поле с микрофонами и линейным кодированием. Градиент правдоподобия удерживает результат около измерений. Дополнительно смешиваются оценки генерации высоких порядков и уточнения надёжных низких; на поздних шагах генеративное смешивание отключается, чтобы не разрушать уже восстановленную структуру. Стандартный вывод использует 90 шагов, а не один проход нейросети.

Результаты. Обучение использует 44 часа VCTK и 20000 моделируемых комнатных откликов с RT60 0,1–0,5 с, одним или двумя говорящими. Тест содержит 100 сцен WSJ0 и 13 геометрий: нерегулярные массивы из четырёх, пяти и шести микрофонов и Project Aria. В абляции, усреднённой по массивам, полный вариант получает SI-SDR 11,24 дБ для первого и 6,95 дБ для пятого порядка против 10,53 и 1,30 дБ у исходного ADEPS. Субъективная проверка включает 11 слушателей и три пятисекундные сцены; она поддерживает полезность восстановления, но не заменяет масштабную полевую проверку.

Ограничения. Независимость от массива не означает отсутствие калибровки: оператор предполагается известным и точным. Даже для Aria микрофонные сигналы моделируются с измеренной матрицей, а не получены живой записью всех сцен. Тестовый шум белый, SNR 50 дБ, сцены стационарные и содержат максимум двух говорящих. Высшие порядки за пределами разрешения массива частично задаются априорным распределением, поэтому не являются доказанным физически точным измерением. Реальное время, динамические сцены и неопределённость матрицы оставлены дальнейшей работе.

Фишка из статьи. В таблице IV бюджет зафиксирован на 150 вычислениях модели. Простое добавление смешивания без расписания почти не помогает высоким порядкам; важен момент его отключения. Ниже SI-SDR в дБ, больше лучше.

Как это читать: генеративная подсказка полезна не на всём обратном ходе. На поздних шагах её продолжающееся воздействие портит результат, поэтому расписание важнее самого факта подключения ещё одной оценки. Это конкретный пример того, как в физически обусловленной диффузии приходится разделять восстановление согласованности с измерениями и достраивание ненаблюдаемой части, а не просто усиливать оба воздействия одновременно.

Источник. Оригинальное название: Array-Agnostic High-Order Ambisonics Encoding via Diffusion Posterior Sampling. arXiv:2610.39185; полный текст PDF.