Графовая нейросеть для амбисонического воспроизведения в большой области с шестью степенями свободы
Для свободного перемещения слушателя нужно оценить звук там, где микрофона нет. Работа не пытается нейросетью восстановить всё комплексное звуковое поле: маленькая графовая модель выбирает веса интерполяции параметров DirAC. Сам звук берётся из ближайшей записи, что позволяет избежать гребенчатой фильтрации при смешивании удалённых массивов с несовместимыми фазами.
Метод. Узлы полного графа представляют измеренные амбисонические массивы и точку запроса. Признаки включают логарифм энергии, диффузность и частоту, рёбра — расстояния и скалярные произведения направления интенсивности с относительной геометрией. Два слоя передачи сообщений, ширина 48, всего 27121 параметр. Положительные веса получаются через softplus, после чего энергия, диффузность и направление восстанавливаются аналитически. Абсолютные координаты и номера датчиков не подаются; частотные ячейки обрабатываются независимо. Обучение использует речь TIMIT, свёрнутую с синтетическими импульсными характеристиками HARP.
Результаты. Проверены 25 новых помещений, новые речевые сигналы и по три случайные конфигурации пяти массивов в каждом помещении, всего 75. Пространственные карты показывают локальный выигрыш NMSE энергии примерно до 3 дБ и корреляции диаграммы направленной энергии до 0,1. Это локальные максимумы, не среднее улучшение всего набора. Для диффузности явного выигрыша нет: медианные различия порядка 0,001. Метод сохраняет сильную геометрическую интерполяцию там, где усложнение мало помогает.
Ограничения. Только моделированные импульсные характеристики, 16 кГц и амбисоника первого порядка. Нет измеренных многоточечных помещений и слушательского теста; уменьшение ошибки параметров ещё не подтверждает слышимый выигрыш. Хотя архитектура допускает разное число массивов, приведённая проверка использует пять. Цена полного графа растёт квадратично по числу узлов, а малое число параметров само по себе не доказывает реальное время при обработке всех частотно-временных ячеек.
Фишка из статьи. Инженерная особенность — отказ от нормировки весов к сумме один. Это разделяет масштаб энергии и форму пространственных характеристик; таблица сопоставляет уравнения 4–5 и 11–13 с результатами раздела 5.
| Компонент | Геометрический контроль | Графовый вариант | Наблюдение |
|---|---|---|---|
| Веса | Неотрицательные, сумма 1 | Положительные, сумма свободна | Можно менять абсолютный уровень |
| Энергия | Взвешенная сумма | Сумма с обученными весами | Локально до 3 дБ выигрыша NMSE |
| Диффузность | Из интерполированного направленного признака | Нормированное среднее | Явного общего выигрыша нет |
| Пространственная структура | Фиксированная геометрия | Геометрия и измеренная сцена | Локально до 0,1 по корреляции |
Как это читать: нормированное среднее не способно выйти за диапазон измеренных энергий, тогда как свободная сумма весов может исправлять этот уровень. При этом сеть не синтезирует фазу удалённого поля и не решает точную волновую реконструкцию. Выигрыш относится к параметрам, управляющим существующим воспроизведением DirAC.
Источник. Оригинальное название: Graph Neural Network for Wide-Area 6DoF Ambisonic Rendering. arXiv:2610.35741; полный текст PDF.