Пространственный звук Аудиокодеки Акустика помещений
arXiv cs.SD

AURA: пространственное понимание звука через единое представление универсального аудиокодека

ArXiv:2611.13687

AURA извлекает сведения о положении источников из замороженного универсального аудиокодека, не обучая отдельный пространственный кодировщик. Главный вопрос работы: почему признаки содержат информацию о направлении, но языковая модель не умеет связать её с нужным звуком в смеси двух источников.

Метод. Используется xcodec_hubert_general_audio_v2: 50 кадров/с и восемь слоёв RVQ по 1024 кода размерности 1024. Для каждого уха слои 0–2 суммируются в условно содержательную группу, 3–7 в акустическую. К четырём группам добавляются две межушные разности. После объединения по четырём кадрам двухслойный проектор передаёт шесть последовательностей замороженному Qwen3-8B с LoRA; 10 секунд дают 750 входных аудиопозиций. Полная разметка сцены и геометрический разбор учат связывать источник с направлением. Здесь кодек является источником признаков, а не новым способом сжатия.

Результаты. На SpatialSoundQA точность одновременного определения трёх осей направления составляет 73,58% для одного и 48,21% для двух источников. У локально восстановленного DSpAST-BAT это 80,84% и 37,90%. Доля ошибок расстояния свыше 0,5 м, называемая здесь DER, равна 42,69% и 64,72%; это не ошибка диаризации. Обучаются 64,63 млн параметров проектора и LoRA, но полная система также содержит замороженную модель на 8 млрд параметров. Линейный классификатор по бинауральным признакам различает левое и правое с точностью 93,0%.

Ограничения. Основная оценка использует искусственные статичные сцены с комнатными импульсными характеристиками Matterport3D. Реальные бинауральные записи проверяют доступность признаков, но не заменяют полную проверку пространственных ответов в реальных помещениях. Сравнение с универсальными моделями включает одноканальный вход и иной режим обучения, поэтому не изолирует преимущество архитектуры. Задержка и RTF не приведены.

Фишка из статьи. Таблица 6 на с. 18 показывает зависимость от явно добавленной межушной разности содержательных признаков. Она детерминированно вычисляется из уже имеющихся каналов и не добавляет исходной информации, но делает её доступнее обученной модели.

СценаПолная: левое/правое, %Без разности S: левое/правое, %DoA: полная / без разности, %
Один источник93,9569,5873,58 / 51,94
Два источника85,1362,0948,21 / 31,53

Как это читать: Наличие сведений в скрытых признаках и способность модели ими воспользоваться различаются. Удаление разности оставляет оба уха на входе, однако точность резко падает. Это аргумент за акустически осмысленный интерфейс к языковой модели, а не доказательство того, что сами коды приобрели новые пространственные данные.

Источник. Оригинальное название: AURA: Auditory Spatial Intelligence via a Unified Representation from a General-Audio Encoder through Complete Alignment. arXiv:2611.13687; полный текст PDF.

Оригинальная статья на arXiv