Когда роль противоречит реплике: где теряется замысел в синтезе речи с планированием

Одни и те же слова «очень вкусно» могут звучать искренне или через силу. Работа проверяет случаи, где заданная ситуация требует эмоции, противоположной буквальному смыслу реплики. Вместо оценки только конечного звука авторы отслеживают заданное направление возбуждения или валентности в плане, управляющем векторе и синтезированной речи.

Метод. По 150 английских и японских примеров имеют согласованную и конфликтующую роль и заранее выбранную ось изменения. Gemini-планировщик формирует описание подачи, восьмимерный вектор и управление длительностью для замороженного IndexTTS-2.5. В обычном пути QwenEmotion переводит описание в другой вектор и банк эмоциональных прототипов. Проверяются прямой обход QwenEmotion, его дообучение на выбранных после синтеза примерах и отображение текста в 1280-мерный эмоциональный сдвиг через E5 и MLP. Последнее учится на 30083 актёрских записях с непересекающимися тестовыми голосами.

Результаты. Описание плана соответствует нужному направлению в 84% японских и 98% английских примеров, но конечный звук без управления длительностью только в 55 и 66%. При включённой длительности исходный путь даёт 65 и 74%, дообученный QwenEmotion 75 и 84%, прямой обученный интерфейс 66 и 89%. Для японского прямой интерфейс достигает 88% по возбуждению, но лишь 53% по валентности: хороший английский результат не переносится одинаково на язык и ось.

Ограничения. Один планировщик и один синтезатор, две грубые оси, по два тестовых голоса на язык. Основная оценка использует акустический предсказатель, обученный на MSP-Podcast; проверка на человеческих параллельных записях даёт 99,6% по возбуждению, но только 83,1% по валентности. Отбор обучающих примеров также использует этот предсказатель. Разные способы чтения промежуточных представлений не позволяют трактовать проценты как вероятность сохранения намерения при переходе между соседними ступенями.

Фишка из статьи. Таблицы 3–4 показывают важное расхождение машинной и слушательской проверки. Для английского самый высокий автоматический результат у прямого интерфейса не сопровождается самым высоким человеческим распознаванием ситуации.

Как это читать: слушательский тест мал: десять участников на язык, пять суждений на пример и условие. Только английское дообучение превосходит случайный выбор на уровне большинства примеров; различия между вариантами этим опытом не установлены. Автоматический выигрыш поэтому следует понимать как восстановление измеряемого эмоционального направления, а не доказанную победу в убедительности актёрского исполнения.

Источник. Оригинальное название: When the Persona Contradicts the Line: Diagnosing Plan-to-Synthesis Failures in Chain-of-Thought TTS. arXiv:2610.35008; полный текст PDF.