ConformalMOS: оценка MOS с конформными интервалами и учётом порядка оценок

Точечный прогноз качества синтеза не сообщает, насколько ему можно доверять. ConformalMOS добавляет к прогнозу MOS интервал, откалиброванный на отложенных человеческих оценках. Идея полезна, но гарантия относится к доле покрытых примеров при обменности калибровочных и новых данных, а не к каждому голосу и тем более не к произвольной смене области.

Метод. Замороженные M2D2 или wav2vec дают усреднённые по времени признаки. Двухслойная голова предсказывает распределение по упорядоченным центрам MOS от 1 до 5; гауссово сглаженные цели делают соседние оценки ближе дальних. Скаляр получается математическим ожиданием центров. На 497 калибровочных примерах оценивается квантиль абсолютной ошибки; он становится общей полушириной интервала, обрезанного границами [1,5]. Для обучения остаются 4477 примеров BVCC, для валидации и теста по 1066.

Результаты. При α=0,05 M2D2 даёт MSE отдельных записей 0,228 и системную MSE 0,080. UTMOS точнее на отдельных записях, 0,165, но имеет системную MSE 0,090; FUSE-MOS 0,191 и 0,086. Системная LCC ConformalMOS 0,953, однако SRCC 0,943 уступает FUSE-MOS 0,947. Следовательно, победа зависит от уровня агрегации и критерия, а не охватывает всю оценку качества. Графики показывают близость покрытия M2D2 к целевому и более широкие интервалы wav2vec.

Ограничения. Проверка ограничена английским BVCC, перенос за его пределы прямо не испытан. Общая полуширина не является адаптивной оценкой трудности конкретной записи: различия ширины возникают главным образом у краёв шкалы. Она также не описывает разногласия отдельных слушателей. Для точной конечновыборочной гарантии важен выбор поправленного ранга квантили, а описание ограничено эмпирической квантилью. Сама послекалибровка не меняет точечный прогноз, поэтому улучшение MSE нельзя приписывать добавлению интервала.

Фишка из статьи. Таблица 1 полезна разделением качества отдельных записей и ранжирования систем. Ниже основная конфигурация M2D2 с номинальным покрытием 95%; точность и калибровка должны рассматриваться раздельно.

Как это читать: низкая системная ошибка не гарантирует точного решения о единственном фрагменте, а корректный интервал не делает слабый предсказатель сильным. Практический смысл конформного слоя в контроле покрытия на сопоставимом потоке данных. Для нового языка, кодека или поколения синтезатора потребуются отдельная проверка обменности и повторная калибровка.

Источник. Оригинальное название: ConformalMOS: Uncertainty-Aware MOS Prediction with Conformal Intervals and Ordinal Modeling. arXiv:2610.36126; полный текст PDF.