Пространственный звук Акустика помещений Частотно-временной анализ
arXiv eess.AS

Повышение порядка Ambisonics: выбор отражений во времени и частотно-временной области

ArXiv:2611.23089

Чтобы улучшить пространственную точность записи Ambisonics первого порядка, необязательно одинаково усложнять всю звуковую сцену. Работа сравнивает повышение порядка только наиболее важных прямых и отражённых компонентов: на всю запись, на короткий кадр или отдельно в каждой частотно-временной ячейке. Последний вариант особенно полезен, когда несколько говорящих занимают разные участки спектра, но результат получен при заранее известных отражениях.

Метод. Базовый бинауральный сигнал строят из полной FOA-сцены. Для выбранных путей к нему добавляют разность их представлений высокого и первого порядка: HOA минус FOA, чтобы не посчитать компонент дважды. Рассматриваются прямой звук и ранние отражения до 100 мс; поздний хвост сохраняется в первом порядке. LT выбирает r наиболее энергичных путей на всю запись, ST пересматривает набор в окнах Hann 32 мс с шагом 16 мс, TF — в ячейках STFT с усреднением энергии по области 3×3. Энергия суммируется по обоим ушам, поэтому левый и правый сигналы используют один набор путей. Высокий порядок в экспериментах равен 10. Это адаптивный выбор компонентов при фиксированном STFT, а не новое адаптивное преобразование наподобие EMD или VMD.

Повышается порядок только выбранных компонентов, без двойного счёта. Известные компоненты ISM: Прямой звук и отражения в моделируемой комнате. Полная сцена → FOA: Базовый бинауральный сигнал порядка 1. Прямой звук + ранние пути: Кандидаты до 100 мс; энергия обоих ушей. Выбрать r путей: LT / ST / TF: Новое: TF меняет набор в каждой ячейке. Поправка HOA − FOA: Новое: только выбранные пути, порядок HOA 10. База FOA + поправка: Поздний хвост сохраняется в исходном порядке.
Схема по материалам статьи, разделы 3–4, уравнения 10–16 и таблица 2. Исходные компоненты и пути известны из ISM: это не слепое разделение реальной FOA-записи. LT выбирает пути на всю запись, ST — на кадр, TF — на ячейку STFT. Ранние компоненты до 100 мс; поздняя реверберация остаётся FOA. HRTF-декодировщики и обратное STFT объединены.

Результаты. Моделирование охватывает шесть комнат объёмом 72–1800 м³, T60 0,3–0,8 с и 180 сцен с одним–четырьмя говорящими. При r=30 глобальный SI-SDR равен 17,66 дБ для TF против 15,64 для ST и 15,56 для LT. В прослушивании участвовали десять сотрудников лаборатории; использованы только две сцены с достаточно высоким отношением прямого звука к реверберации. В сцене с двумя голосами и r=1 все слушатели оценили TF как неотличимый от эталона; средние оценки LT и ST составили примерно 55 и 76 из 100. Это оценка пространственного сходства, не разборчивости слов.

Ограничения. Компоненты создаются методом мнимых источников и доступны по отдельности: из реальной четырёхканальной записи их ещё предстоит оценить. Не моделируются ошибки разделения и практические ограничения массива. При низком отношении прямого звука к реверберации заметной разницы в предварительном прослушивании не обнаружили, и такие сцены не вошли в формальный тест. Нет измерения стоимости конечного устройства или гарантии потоковой задержки.

Фишка из статьи. Таблица 2 показывает не монотонное преимущество более частого обновления, а зависимость от того, что именно выбирается. Для двух голосов один компонент на ячейку TF может представлять разные прямые пути в разных частотах. Три компонента на короткий кадр, напротив, всё ещё способны временно пропустить нужный прямой путь.

СценаLT: SI-SDR, дБST: SI-SDR, дБTF: SI-SDR, дБ
Один голос, r=116,4116,4316,64
Два голоса, r=14,6910,0515,65
Два голоса, r=316,6112,3219,35

Как это читать: r задаёт число путей в одной области выбора, не общее число уникальных отражений за запись. В последней строке LT лучше ST, хотя обновляется реже; при прослушивании LT и TF уже достигли потолка 100. Превосходство TF над ST при r=3 не подтвердилось непараметрической проверкой после поправки, поэтому этот край таблицы не стоит превращать в общий закон.

Источник. Оригинальное название: Insight into Parametric First-Order Ambisonics Upscaling in Time and Frequency Domains. arXiv:2611.23089; полный текст PDF.

Оригинальная статья на arXiv