AURA: пространственное понимание звука через единое представление универсального аудиокодека
AURA извлекает сведения о положении источников из замороженного универсального аудиокодека, не обучая отдельный пространственный кодировщик. Главный вопрос работы: почему признаки содержат информацию о направлении, но языковая модель не умеет связать её с нужным звуком в смеси двух источников.
Метод. Используется xcodec_hubert_general_audio_v2: 50 кадров/с и восемь слоёв RVQ по 1024 кода размерности 1024. Для каждого уха слои 0–2 суммируются в условно содержательную группу, 3–7 в акустическую. К четырём группам добавляются две межушные разности. После объединения по четырём кадрам двухслойный проектор передаёт шесть последовательностей замороженному Qwen3-8B с LoRA; 10 секунд дают 750 входных аудиопозиций. Полная разметка сцены и геометрический разбор учат связывать источник с направлением. Здесь кодек является источником признаков, а не новым способом сжатия.
Результаты. На SpatialSoundQA точность одновременного определения трёх осей направления составляет 73,58% для одного и 48,21% для двух источников. У локально восстановленного DSpAST-BAT это 80,84% и 37,90%. Доля ошибок расстояния свыше 0,5 м, называемая здесь DER, равна 42,69% и 64,72%; это не ошибка диаризации. Обучаются 64,63 млн параметров проектора и LoRA, но полная система также содержит замороженную модель на 8 млрд параметров. Линейный классификатор по бинауральным признакам различает левое и правое с точностью 93,0%.
Ограничения. Основная оценка использует искусственные статичные сцены с комнатными импульсными характеристиками Matterport3D. Реальные бинауральные записи проверяют доступность признаков, но не заменяют полную проверку пространственных ответов в реальных помещениях. Сравнение с универсальными моделями включает одноканальный вход и иной режим обучения, поэтому не изолирует преимущество архитектуры. Задержка и RTF не приведены.
Фишка из статьи. Таблица 6 на с. 18 показывает зависимость от явно добавленной межушной разности содержательных признаков. Она детерминированно вычисляется из уже имеющихся каналов и не добавляет исходной информации, но делает её доступнее обученной модели.
| Сцена | Полная: левое/правое, % | Без разности S: левое/правое, % | DoA: полная / без разности, % |
|---|---|---|---|
| Один источник | 93,95 | 69,58 | 73,58 / 51,94 |
| Два источника | 85,13 | 62,09 | 48,21 / 31,53 |
Как это читать: Наличие сведений в скрытых признаках и способность модели ими воспользоваться различаются. Удаление разности оставляет оба уха на входе, однако точность резко падает. Это аргумент за акустически осмысленный интерфейс к языковой модели, а не доказательство того, что сами коды приобрели новые пространственные данные.
Источник. Оригинальное название: AURA: Auditory Spatial Intelligence via a Unified Representation from a General-Audio Encoder through Complete Alignment. arXiv:2611.13687; полный текст PDF.