Нейронное амбисоническое матричное кодирование для произвольных решёток с переменным числом микрофонов
Авторы строят кодировщик первого порядка Ambisonics, который не привязан к фиксированной решётке. Координаты микрофонов и передаточные функции входят в общую обработку каналов, поэтому одна модель принимает четыре, пять, шесть или семь микрофонов без замены выходных головок.
Метод. Сигналонезависимый вариант предсказывает линейную матрицу по акустическим передаточным функциям, сигналозависимый дополнительно использует наблюдаемый спектр. Маскированное внимание делит параметры между микрофонами и допускает переменное число входных каналов.
Результаты. На незнакомом числе микрофонов статический метод наименьших квадратов даёт SI-SDR 8,012 дБ, сигналонезависимая сеть 9,351 дБ, сигналозависимая 9,759 дБ. При пяти и семи источниках последняя сохраняет выигрыш 1,26 дБ. На ESC-50, хотя обучение было только на речи, она улучшает SI-SDR с 2,791 до 3,737 дБ.
Ограничения. Все помещения, решётки и передаточные функции смоделированы. На белом шуме SI-SDR остаётся отрицательным у всех методов, субъективного прослушивания нет, а эталонные бинауральные показатели получены из декодированного Ambisonics-сигнала.
Фишка из статьи. Перенос на белый шум показывает границу обобщения: сеть формально лучше статического кодировщика по всем пяти метрикам, но абсолютная реконструкция остаётся плохой. Небольшой численный выигрыш не следует путать с пригодным звуком.
| Сигнал, 5/7 источников | Статический LS, SI-SDR | Сигналонезависимый | Сигналозависимый |
|---|---|---|---|
| LibriSpeech | 6,513 дБ | 7,505 дБ | 7,769 дБ |
| ESC-50 | 2,791 дБ | 3,163 дБ | 3,737 дБ |
| Белый шум | -4,268 дБ | -4,161 дБ | -4,028 дБ |
Как это читать: общая обработка каналов переносит относительное преимущество на новые сигналы и число источников, но не отменяет фундаментально трудный случай широкополосного шума.