Аудиоязыковая модель для оценки MOS синтезированной речи: диагностика и адаптация

Аудиоязыковая модель может уверенно обсуждать естественность голоса и всё равно выдавать почти одинаково высокие оценки плохим и хорошим записям. Авторы исследуют этот отказ Qwen2-Audio-7B и дообучают её предсказывать численную MOS. Полезная часть работы в разборе формата цели и смещения ответов; производственная надёжность за пределами одного корпуса пока не показана.

Метод. На SOMOS, около 20 тыс. синтетических фраз одного голоса LJ Speech от 200 систем, строятся диагностические задания на темп, выразительность и совпадение содержимого. Выразительность выводится из нормированных характеристик F0 с весами, подобранными под MOS, то есть это корпусный коррелят, не независимая физическая шкала. Qwen2-Audio с четырёхбитной основой адаптируется LoRA за одну эпоху. Сравниваются прямой численный ответ и число внутри разговорного шаблона, а также прореживание диапазонов MOS для выравнивания распределения.

Результаты. Лучшая адаптация даёт Pearson 0,6506 и Spearman 0,6582 на тесте SOMOS против 0,0028/0,02 у исходной модели и 0,4310/0,4193 у UTMOSv2. Корреляция умеренная, не точное воспроизведение каждого слушательского балла. Без обучения переход через текстовое описание и отдельную Llama улучшает Pearson максимум до 0,2467. В диагностике Qwen имеет macro F1 21,9% для темпа и 26,5% для выразительности, причём некоторые классы почти не выдаёт. В парном сравнении качества исходная модель систематически предпочитает первый вариант.

Ограничения. Только внутрикорпусный тест, один английский голос и синтетические записи ограничивают перенос на новые дикторы, языки и деградации. Подбор формулы выразительности по MOS не доказывает, что найденные свойства причинно определяют восприятие. Нет межкорпусного сравнения, доверительных интервалов, повторных обучений и калиброванных порогов отказа. Заявленные масштабируемость и низкая стоимость не подкреплены конкретной пропускной способностью и VRAM. Модель разумнее считать средством предварительной сортировки, а не самостоятельным основанием блокировать выпуск или заменять слушательский тест.

Фишка из статьи. Таблица 3 фиксирует ранг LoRA 16 и показывает гораздо больший эффект формата цели, чем увеличения её масштаба. Баланс 0 сохраняет все записи, 1 выравнивает интервалы ценой удаления данных.

Как это читать: при текстовом шаблоне большинство предсказываемых токенов не несёт оценки, и хорошая языковая ошибка не гарантирует обучения регрессии. Выравнивание MOS одновременно сокращает объём, поэтому его проигрыш не доказывает вред баланса вообще. Перед усложнением архитектуры полезно проверить, какие токены получают обучающий сигнал, насколько модель использует весь диапазон и не повторяет ли просто наиболее частую оценку.

Источник. Оригинальное название: Scalable Audio-LLM System for Speech MOS Evaluation: A Diagnostic Case Study and Adaptation Roadmap. arXiv:2610.41539; полный текст PDF.