REAL: оценка синтезированной речи с привязкой замечаний к звуковым фрагментам
REAL обучает автоматического судью не только выбирать лучший синтез, но и связывать аргументы с конкретными фрагментами записи. Несколько моделей обсуждают дефекты и формируют структурированные примеры для обучения компактного оценщика. Интерес работы в проверке тонких различий и временной разметки, а не в предположении, что длинное объяснение само по себе делает оценку верной.
Метод. REAL-Jury объединяет языкового координатора, аудиомодели и принудительное выравнивание. Полученные отчёты фильтруются по совпадению итогового предпочтения с человеческой меткой; остаётся 11 947 пар. REAL-Judge дообучается через LoRA на основе MiMo-Audio, с маркерами времени каждые две секунды. Отдельная Fine-выборка содержит 207 пар от четырёх новых синтезаторов в шести сценариях; из оценок десяти слушателей оставлены пары с большинством не слабее 7:3.
Результаты. Точность предпочтений повышается с 68,42% до 84,43% на Standard и с 53,95% до 65,36% на Fine. На тонких различиях REAL-Judge всё ещё уступает Qwen3.5-Omni с 67,63% и Gemini-3.1-Pro-Preview с 67,31%. Корреляция агрегированных побед четырёх систем с человеческими оценками равна 0,96, однако оценки отдельных систем смещены: для Qwen3-TTS примерно −14,6 пункта, для OmniVoice +13,4.
Ограничения. Проверка ограничена китайской речью, а исключение неоднозначных человеческих пар сужает условия применения. Правильное ранжирование четырёх моделей не означает калиброванных абсолютных оценок и не доказывает правильность каждого объяснения. Отбор обучающих отчётов по итоговому ответу тоже не гарантирует, что упомянутые дефекты действительно были причиной выбора. Это инструмент предварительного анализа, а не замена слушателей.
Фишка из статьи. Абляция временных маркеров в таблице 2 даёт небольшой, но содержательный отрицательный результат: более частая разметка не улучшает судью. Ниже точность парного выбора, проценты.
| Разметка времени | Standard | Fine |
|---|---|---|
| Без маркеров | 82,92 | 63,77 |
| Каждую секунду | 83,00 | 64,07 |
| Каждые две секунды | 84,43 | 65,36 |
Как это читать: временные опоры полезны, но их детализация конкурирует со сложностью представления. Плотная сетка не обязательно помогает модели связать замечание с акустикой. При этом разница в точности предпочтения ещё не является независимой оценкой точности локализации дефектов: это отдельная проверка, которой таблица не заменяет.
Источник. Оригинальное название: REAL: Reward Modeling through Evidence-Linked Analysis of Lifelikeness in Generated Speech. arXiv:2611.12406; полный текст PDF.