SPHERE: безэталонная оценка качества и пространственной достоверности бинауральной речи
Одноканальная оценка может не заметить, что шумоподавитель сделал голос чище, но заставил его направление «плавать». SPHERE разделяет качество бинауральной речи на девять субъективных признаков и учит предсказывать их без чистого эталона. Вклад работы — не только нейросеть, но и протокол получения пространственных оценок слушателей.
Метод. Около 9000 записей длительностью 10–20 с собраны из реальных устройств, лабораторных HATS-измерений и полевых условий. Слушатели проходят проверку наушников, стереоканалов и внимания; для записи получают не менее пяти оценок. Предсказываются качество голоса, фон, общее впечатление, усилие слушания, комфорт громкости, локализация, устойчивость, артефакты и поведение шума. Сравниваются CNN-BiLSTM с объединёнными каналами и симметричными ветвями, мел-признаки, комплексный STFT и дополнительные пространственные признаки PhaseCoder. Чистая запись при выводе не требуется.
Результаты. На основной проверке из 2119 фрагментов средняя по девяти атрибутам корреляция Пирсона достигает 0,706; лучшее среднее RMSE — 0,726 балла по шкале 1–5. Для общей оценки качества PCC равен 0,773 против 0,284 у усреднённых поканальных DNSMOS. Однако речь не о 77%-й точности: корреляция измеряет согласованное изменение оценок, а не абсолютное совпадение. Пространственная устойчивость предсказывается слабее общей оценки, около 0,64 PCC.
Ограничения. Проверочная выборка используется и для выбора контрольной точки; независимый внешний тест на новых устройствах и алгоритмах не показан. Разделение описано через исходные имена файлов, но само по себе это не позволяет независимо проверить заявленное отсутствие пересечения говорящих. Оценки длинной записи наследуются короткими окнами, из-за чего локальные дефекты получают неточные метки. Системная корреляция вычисляется всего по шести условиям, а не по тысячам независимых систем.
Фишка из статьи. Таблица 2 показывает, что лучший предсказатель оценок отдельных фрагментов и лучший инструмент ранжирования алгоритмов — не одна модель. Ниже метрики усреднены по девяти атрибутам.
| Модель | PCC по фрагментам | PCC по 6 системам | RMSE MOS |
|---|---|---|---|
| Объединённые MEL | 0,702 | 0,715 | 0,744 |
| Симметричные MEL | 0,695 | 0,770 | 0,733 |
| Объединённые MEL + PhaseCoder | 0,706 | 0,728 | 0,734 |
| Симметричные MEL + PhaseCoder | 0,702 | 0,730 | 0,726 |
Как это читать: пространственные признаки немного повышают корреляцию отдельных записей, но не дают лучшего ранжирования систем. Очень высокая корреляция по пяти усреднённым уровням качества, около 0,99, также не заменяет PCC отдельных фрагментов около 0,70. Для выбора модели важно заранее решить, нужна диагностика конкретной записи или сравнение средних результатов алгоритмов.
Источник. Оригинальное название: SPHERE: A Multi-Attribute No-Reference metric for Binaural Speech Quality And Spatial Fidelity. arXiv:2611.00402; полный текст PDF.