Binaural MSS: почему ITD-метрика ломается на басе
Статья важна для оценки пространственного аудио: она показывает, что объективные метрики для binaural music source separation не всегда согласуются с восприятием слушателя. Особенно плохо ведет себя ITD-ошибка, хотя межушная временная разность кажется естественным показателем локализации. Главный результат - отрицательный: для узкополосных источников вроде баса GCC-PHAT-based ITD может схлопываться в 0 мкс даже при почти незаметном шуме.
Метод. Авторы обучают binaural-вариант SCNet на Binaural-MUSDB и сравнивают его со stereo SCNet и Demucs. Затем проводят online perceptual study: слушатели сравнивают разделенные stems по общему качеству, похожести на binaural reference и пространственным артефактам. Объективные метрики включают SRR, SSR, ΔITD и ΔILD; отдельно тестируются варианты GCC-PHAT для оценки TDOA.
Результаты. Bi-SCNet в среднем лучше stereo-моделей по большинству separation/spatial метрик: например, SRR для bass 14.74 дБ против 8.26 у SCNet, для drums 15.00 против 10.87, для vocals 11.24 против 5.97. Но ΔITD для bass одинаково плоха у всех моделей - 476.19 мкс, потому что расчет часто возвращает центр. В perceptual-сравнении ΔILD и SRR лучше совпадают с предпочтениями слушателей, а ΔITD и SSR заметно слабее, особенно для bass.
Ограничения. Работа про музыку, а не речь, и использует Binaural-MUSDB, синтезированный через HRIR без полноценной room acoustics сверх эффектов исходных stems. Перцептивное исследование ограничено выбранными инструментами, 10-секундными клипами и сравнением конкретных моделей. Тем не менее вывод про хрупкость ITD полезен шире для пространственных аудиометрик.
Фишка из статьи. Самый интересный результат - robustness/accuracy trade-off в ITD. Если уменьшать PHAT-whitening, оценка становится устойчивее на estimated bass stems, но reference ITD начинает уходить от HRIR-ground truth.
| Случай | Наблюдение | Почему это важно |
|---|---|---|
| Bass ΔITD в Table 1 | 476.19 мкс у Bi-SCNet, SCNet и Demucs | Метрика не различает модели |
| GCC-PHAT, β=1 | Точнее для reference HRIR | Сохраняет фазовую точность эталона |
| GCC, β=0 | Устойчивее для estimated stems | Меньше ломается от артефактов separation |
| Noise test | Сбой bass ITD около SNR 45 дБ | Даже почти незаметный шум может сломать метрику |
Как это читать: метрика, которая кажется физически правильной, может быть вычислительно хрупкой. Для binaural separation лучше не полагаться на ΔITD в одиночку; ΔILD и SRR в этой работе ближе к человеческим предпочтениям.