Оценка качества Синтез речи Модели предпочтений
arXiv eess.AS

REAL: оценка синтезированной речи с привязкой замечаний к звуковым фрагментам

ArXiv:2611.12406

REAL обучает автоматического судью не только выбирать лучший синтез, но и связывать аргументы с конкретными фрагментами записи. Несколько моделей обсуждают дефекты и формируют структурированные примеры для обучения компактного оценщика. Интерес работы в проверке тонких различий и временной разметки, а не в предположении, что длинное объяснение само по себе делает оценку верной.

Метод. REAL-Jury объединяет языкового координатора, аудиомодели и принудительное выравнивание. Полученные отчёты фильтруются по совпадению итогового предпочтения с человеческой меткой; остаётся 11 947 пар. REAL-Judge дообучается через LoRA на основе MiMo-Audio, с маркерами времени каждые две секунды. Отдельная Fine-выборка содержит 207 пар от четырёх новых синтезаторов в шести сценариях; из оценок десяти слушателей оставлены пары с большинством не слабее 7:3.

Результаты. Точность предпочтений повышается с 68,42% до 84,43% на Standard и с 53,95% до 65,36% на Fine. На тонких различиях REAL-Judge всё ещё уступает Qwen3.5-Omni с 67,63% и Gemini-3.1-Pro-Preview с 67,31%. Корреляция агрегированных побед четырёх систем с человеческими оценками равна 0,96, однако оценки отдельных систем смещены: для Qwen3-TTS примерно −14,6 пункта, для OmniVoice +13,4.

Ограничения. Проверка ограничена китайской речью, а исключение неоднозначных человеческих пар сужает условия применения. Правильное ранжирование четырёх моделей не означает калиброванных абсолютных оценок и не доказывает правильность каждого объяснения. Отбор обучающих отчётов по итоговому ответу тоже не гарантирует, что упомянутые дефекты действительно были причиной выбора. Это инструмент предварительного анализа, а не замена слушателей.

Фишка из статьи. Абляция временных маркеров в таблице 2 даёт небольшой, но содержательный отрицательный результат: более частая разметка не улучшает судью. Ниже точность парного выбора, проценты.

Разметка времениStandardFine
Без маркеров82,9263,77
Каждую секунду83,0064,07
Каждые две секунды84,4365,36

Как это читать: временные опоры полезны, но их детализация конкурирует со сложностью представления. Плотная сетка не обязательно помогает модели связать замечание с акустикой. При этом разница в точности предпочтения ещё не является независимой оценкой точности локализации дефектов: это отдельная проверка, которой таблица не заменяет.

Источник. Оригинальное название: REAL: Reward Modeling through Evidence-Linked Analysis of Lifelikeness in Generated Speech. arXiv:2611.12406; полный текст PDF.

Оригинальная статья на arXiv