ProxyMOS: оценка качества речи без разметки через дистилляцию учителей и адаптивную маршрутизацию

ProxyMOS строит оценщик качества речи без новых человеческих MOS-меток: несколько готовых моделей выступают учителями, а маршрутизатор выбирает их вес в зависимости от записи. Затем ансамбль дистиллируется в один wav2vec 2.0, пригодный для обычного вывода.

Метод. Сначала восемь учителей проверяются на разнородных корпусах, затем перебираются подмножества из пяти моделей. Маршрутизатор обучается выбирать смесь оценок по входной речи; лучшая четвёрка размечает 807 тыс. записей, на которых обучается студент примерно на 300 млн параметров. Это отделяет дорогой этап построения псевдометок от последующего применения.

Результаты. На URGENT студент достигает корреляции Спирмена 0,802 против 0,773 у лучшего отдельного учителя WhiSQA и 0,816 у маршрутизируемого ансамбля. На русском mos260 студент получает 0,636, ONNX-вариант — 0,647, а лучший отдельный учитель — 0,613. На уровне условий корреляция достигает 0,951.

Ограничения. Студент наследует слепые зоны и шкалу учителей, поэтому отсутствие ручной разметки не означает независимой проверки качества. В mos260 медиана составляет лишь три оценки на запись, а внешняя проверка сосредоточена на русском. Абсолютные прогнозы сжаты и надёжнее для ранжирования, чем для калиброванного MOS.

Фишка из статьи. Слабый учитель заметно портит простое усреднение, но почти не вредит адаптивному маршрутизатору. На mos260 добавление пятой модели снижает корреляцию лучшего равномерного ансамбля с 0,578 до 0,510, тогда как маршрутизируемый вариант сохраняет 0,636.

Как это читать: главный вклад — не максимальный балл ансамбля, а устойчивость к неодинаковой компетентности учителей и сохранение почти всего выигрыша после дистилляции. Однако это по-прежнему согласование с прокси-моделями, а не замена слушательской оценке.