Насколько надёжен предсказанный MOS при воспроизведении человеческих предпочтений между системами улучшения речи?

Высокая корреляция предсказанного MOS с человеческими оценками не гарантирует правильного выбора между двумя системами улучшения речи. Авторы вводят точность системных предпочтений SPA и показывают, что популярные предикторы часто меняют порядок систем, даже когда их системная корреляция выглядит убедительно.

Метод. Для каждой пары систем бутстрэп определяет человеческое предпочтение и сравнивает его с направлением разницы предсказанного MOS. Проверены DNSMOS, NISQA, UTMOS, Distill-MOS, SCOREQ и UniVERSA на CHiME-7 UDASE и URGENT24. Дополнительно изучаются усреднение, голосование и адаптация на малой целевой выборке в закрытом и открытом режимах.

Результаты. На CHiME-7 UDASE одиночные модели дают SPA от 30,8 до 65,7%, на URGENT24 — от 52,9 до 76,8%. Даже лучшая одиночная модель ошибается примерно в 23% пар. Усреднение всех шести моделей даёт лишь 40,8% на CHiME, а оракульно выбранная комбинация — 80,6%; на URGENT эти значения составляют 79,8 и 83,1%.

Ограничения. Выводы основаны на двух испытаниях и системном попарном сравнении, а пороги равенства зависят от бутстрэпа. Оракульный выбор ансамбля недоступен без человеческих оценок. Адаптация предполагает размеченные целевые примеры и не заменяет проверку слушателями.

Фишка из статьи. Адаптация может почти идеально решить закрытую задачу и одновременно не перенестись на новые системы и голоса. Самый резкий пример — Distill-MOS на CHiME: SPA достигает 98,8% в закрытом режиме, но остаётся 44,2% в открытом.

Как это читать: почти безошибочная закрытая оценка может быть запоминанием особенностей известных систем. Для реального сравнения нового алгоритма важен открытый столбец, где выигрыш гораздо меньше и сильно зависит от предиктора.