Is Semantics Enough for Speech Mean Opinion Score Prediction?

Работа проверяет неудобный для безэталонной оценки качества вопрос: достаточно ли смысловых представлений речи, чтобы предсказывать MOS, или модель обязана хранить тонкую акустику. Ответ зависит от сдвига данных: на знакомом наборе семантические признаки почти достаточны, но на другом языке и другом синтезаторе преимущество легко исчезает.

Метод. Один и тот же регрессор обучают поверх замороженных или дообучаемых представлений wav2vec 2.0, HuBERT, WavLM и нескольких нейронных кодеков. Сопоставляются преимущественно смысловые кодовые последовательности и акустически более полные признаки. Проверка включает BVCC, синтетический SOMOS и китайский BC2019.

Результаты. На BVCC лучший вариант XCodec-WavLM после дообучения получает MSE 0,201 и SRCC 0,882; WavLM даёт 0,210 и 0,875. Чисто акустический EnCodec заметно слабее: 0,437 и 0,701. Однако на SOMOS замороженный SpeechTokenizer достигает SRCC 0,407, а XCodec-HuBERT 0,455; после дообучения SpeechTokenizer поднимается до 0,440. На китайском BC2019 у него SRCC доходит до 0,577, тогда как WavLM достигает 0,674.

Ограничения. MOS сам по себе шумен и смешивает разборчивость, естественность и артефакты. Работа сравнивает признаки внутри одного семейства регрессоров и не проверяет субъективные причины ошибок. Результат о «семантичности» также нельзя отделить от объёма и состава предварительного обучения каждой модели.

Фишка из статьи. Вне обучающего распределения порядок моделей меняется, поэтому высокая корреляция на BVCC не является надёжным свидетельством акустической чувствительности.

Как это читать: различия внутри BVCC малы, но перенос на SOMOS и китайскую речь расходится сильнее. Для промышленной метрики важнее проверять новые синтезаторы и языки, чем выбирать победителя по одной внутренней таблице.