MiDashengLM-Spatial: объединение общего понимания звука и пространственного восприятия

MiDashengLM-Spatial добавляет бинауральное пространственное восприятие к общей аудиоязыковой модели, не заменяя её моноуральную семантическую ветвь. Это важно: специализированные пространственные модели обычно слабы в обычном понимании звука, а универсальные LALM усредняют каналы и теряют межканальные признаки.

Метод. Отдельный Spatial-Dasheng оценивает направление, расстояние и движение источников. Иерархический модуль HSSC передаёт семантические представления в пространственную ветвь на нескольких глубинах, сохраняя исходный путь. Для обучения синтезировано 13 тыс. часов бинауральных сцен с RIR, HRTF и шестью миллионами пар вопрос–ответ.

Результаты. На MMAU-Pro пространственная точность достигает 55,4%, channel-swap ACR — 33,1%; на STAR-Bench соответственно 70,3% и 72,6%. Трёхосевой F-score локализации растёт с 44,7% у Spatial-Dasheng до 50,8% после интеграции. На моноуральных задачах 8B-модель остаётся конкурентоспособной.

Ограничения. Обучающие пространственные сцены синтетические и содержат не более трёх перекрывающихся источников. Для движущихся траекторий exact match остаётся ниже 20%, а пространственный счёт источников — слабейшая категория. Крупный 8B-бэкенд не подходит для малых устройств.

Фишка из статьи. Авторы проверяют не только обычную точность, но и меняется ли ответ при перестановке левого и правого каналов. Большинство моноуральных LALM дают ACR около нуля: правильный ответ часто получается из языковых подсказок, а не из пространственного сигнала.

Как это читать: channel-swap ACR требует правильно ответить и до, и после физически значимой перестановки каналов. Он жёстче обычной точности и отделяет реальное использование бинауральных признаков от угадывания.