Потери восприятия или потеря воспринимаемого качества?

Статья проверяет распространённую практику обучения систем улучшения речи с добавочной потерей PESQ. Вывод неприятный, но полезный: рост целевой метрики часто не означает более приятный звук, а на данных из другой области может сопровождаться ухудшением разборчивости и качества.

Метод. Авторы сравнивают две архитектуры: диффузионную SB-SGMSE+ с дифференцируемой потерей PESQ и SEMamba с обучаемым предсказателем этой метрики. Проверка охватывает согласованный VoiceBank-DEMAND и несогласованный EARS-WHAM, набор объективных показателей и слепое прослушивание с 12 специалистами; каждый фрагмент оценивали три человека.

Результаты. Для SB-SGMSE+ на EARS-WHAM усиление потери PESQ повышает сам PESQ с 1,85 до 2,32, но SI-SDR падает с 12,67 до 3,23 дБ, ESTOI с 0,77 до 0,74, а точность распознавания Parakeet с 86,38% до 83,28%. У SEMamba добавочная потеря на тех же данных даже снижает PESQ с 2,21 до 2,16. В прослушивании варианты без такой потери в целом предпочитали чаще, особенно при несовпадении областей.

Ограничения. Исследованы только две архитектуры, два набора данных и небольшая группа слушателей. Результат не доказывает, что любая перцептивная потеря вредна; он показывает риск обучения и отбора модели по одной и той же несовершенной метрике.

Фишка из статьи. На несогласованных данных увеличение PESQ выглядит как успех только в одной колонке. Остальные показатели раскрывают обмен: модель учится удовлетворять конкретную формулу, но сильнее искажает сигнал и хуже сохраняет слова.

Как это читать: выигрыш 0,47 по PESQ покупается потерей 9,44 дБ SI-SDR. Кроме того, PESQ объясняет 91,1% вариации составной метрики COVL, поэтому несколько похожих показателей не обязательно являются независимыми подтверждениями качества.