Слышимые различия и предпочтения слушателей при улучшении речи
Два улучшителя могут звучать различно, но ни один не будет предпочтительнее. Авторы разделяют обнаружение различия и выбор для повседневного прослушивания, проверяя четыре современные системы на одних речевых фрагментах. Работа показывает, почему разность PESQ или DNSMOS нельзя автоматически переводить в слышимый или практически значимый выигрыш.
Метод. В треугольном тесте слушатель получает три сигнала, два одинаковых, и выбирает отличающийся; случайный успех 1/3. В парном тесте разрешён ответ «нет предпочтения». Отдельно считаются доля определившихся и направленное предпочтение. 45 фрагментов DNS2020 обрезаны до 4 с и нормированы по громкости; MP-SENet, MambAttention, MeanFlowSE и StoRM обучены на VoiceBank+DEMAND. Неполный план даёт 135 сочетаний «фрагмент — пара», с участием 92 прошедших проверку наушников добровольцев.
Результаты. В треугольном тесте 1775 из 2541 ответов верны, примерно 70% против случайных 33,3%. Средняя различимость StoRM и чистого эталона 0,83, MambAttention и MeanFlowSE 0,56. Предпочтение одной из сторон выражено в 68% парных ответов, но высокая доля таких ответов ещё не означает согласованного выбора одной системы. Для отдельных фрагментов различимость варьирует примерно от 0,34 до 1,0. MambAttention в среднем предпочитают примерно наравне с чистым эталоном, что не доказывает их эквивалентности.
Ограничения. Пары систем оценены на разных подмножествах реплик, поэтому прямое ранжирование по межпарным средним ограничено. Небольшое число повторных оценок, неизвестные устройства, громкость, внимание и языковая подготовка добавляют вариативность. Условия теста отличаются от обучения систем. Сопоставление корреляций не доказывает универсальной пригодности или непригодности метрики: она может измерять качество и разборчивость, а не заметность различия. Код заявлен к публикации после принятия.
Фишка из статьи. Таблица 1 сравнивает разные цели измерения. Для метрик с чистым эталоном пары, включающие сам эталон, исключены: N=81 вместо 135, что дополнительно ограничивает прямое сравнение строк.
| Метрика | Спирмен: различимость | Спирмен: наличие предпочтения | Спирмен: направление предпочтения |
|---|---|---|---|
| SQUIM-STOI | 0,62 | 0,56 | 0,62 |
| SCOREQ | 0,59 | 0,54 | 0,75 |
| DNSMOS OVRL | 0,29 | 0,27 | 0,31 |
| UTMOS | 0,13 | 0,12 | 0,21 |
| PESQ | 0,05 | 0,15 | 0,31 |
Как это читать: почти нулевая связь PESQ с различимостью не означает нулевой связи с предпочтением. У SCOREQ направление предпочтения предсказывается лучше, чем просто заметность отличия. Инженерный отчёт должен заранее определить вопрос: слышно ли изменение, выбирают ли его пользователи или оно повышает разборчивость конкретной задачи.
Источник. Оригинальное название: Perceptual Differences and Preferences in Speech Enhancement. arXiv:2610.36892; полный текст PDF.