DRAMA-Eval: оценка контекстного синтеза многорепличных сцен с несколькими голосами

DRAMA-Eval проверяет не отдельную синтезированную фразу, а сцену: сохраняется ли голос персонажа, исполняются ли указания и складываются ли реплики в естественное взаимодействие. Это полезное разделение для аудиодрам и озвучивания: низкий WER не измеряет контекстную выразительность. Эталоном служит настоящая запись сцены, а не результат другого синтезатора.

Метод. Набор содержит 1038 проверенных человеком сценариев: 537 китайских и 501 английский, 12,50 часа исходного аудио и 7530 реплик. В сценарии заданы контекст, персонажи, текст и локальные указания. Проверяются точность текста и постоянство дикторского представления, три локальных и три глобальных качества. Gemini 3.8 Flash попарно сравнивает синтез с настоящей записью; порядок A/B меняют, ничья даёт половину балла, оценки усредняются по трём запускам. Интерфейсы моделей учитываются отдельно: цельная сцена, независимые реплики с указаниями либо диалог только с образцами голосов.

Результаты. SeedAudio имеет CER 2,58% на китайском, FireRedTTS3 WER 3,97% на английском. MOSS-TTSD и SoulX-Podcast сохраняют голос на уровне сходства около 0,77–0,78, но заметно слабее по выразительности и целой сцене. У китайского Qwen3-TTS выполнение инструкций оценивается в 59,7 и локальная выразительность в 60,6, тогда как глобальная плавность лишь 28,2 и погружение в сцену 27,7. Здесь 50 означает паритет с настоящей записью по протоколу, а не 50% правильных слов.

Ограничения. Средняя сцена длится 43,36 с и содержит 7,25 реплики: это многорепличность, но не проверка часовой аудиокниги. Модели разных категорий получают разные доступные условия, поэтому таблица не изолирует влияние архитектуры при одинаковом контексте. Согласие судьи с людьми составляет 65,23–73,05% по отдельным аннотациям и само рассчитано с половинным зачётом ничьих; это не безошибочная автоматическая оценка. Источники и языки ограничивают перенос на другие драматические традиции.

Фишка из статьи. В отличие от общего рейтинга, абляция SeedAudio в таблице 5 оставляет модель той же и убирает только глобальный контекст. Все значения являются попарными оценками против настоящего аудио.

Как это читать: наиболее сильный эффект контекста здесь относится к погружению: +11,3 пункта на китайском и +9,8 на английском. Это подтверждает пользу информации о сцене внутри одной конфигурации, а не просто преимущество системы с другим интерфейсом. При этом хорошая локальная дикция и постоянство тембра остаются отдельными задачами: одну среднюю «оценку качества синтеза» для них лучше не использовать.

Источник. Оригинальное название: DRAMA-Eval: A Benchmark for Context-Aware, Multi-Turn, Multi-Speaker Speech Generation. arXiv:2610.31796; полный текст PDF.