Управление интонационными контурами в синтезе речи

Исследование локализует, как CSM и S2 формируют восходящую и нисходящую интонацию, и проверяет возможность менять её вмешательством в скрытые состояния. Главное наблюдение: первый кодовый слой не несёт интонационное решение так, как можно ожидать от грубой семантической ступени кодека. Существенный путь проходит через состояние основного трансформера к декодеру последующих слоёв.

Метод. Авторы создают парные реализации утверждений и вопросов с одинаковыми текстом и голосом. Затем взаимно заменяют кодовые слои либо входы depth-модели на последнем слове и измеряют сдвиг контура несколькими способами. Отдельно проверяются направления управления по разности средних, линейному классификатору и человеческим интонационным образцам без привязки к пунктуации. Это вмешательства в уже обученные системы, а не новая модель синтеза.

Результаты. При замене состояния основного трансформера нормированный сдвиг к исходному интонационному условию достигает 0,98 для CSM и 0,91 для S2. Замена только первого кодового слоя при повторном запуске depth-модели даёт 0,01 и 0,11. Направление линейного классификатора управляет контуром намного слабее разности средних, хотя классифицирует условия: декодируемость признака не равна пригодности для причинного управления.

Ограничения. Опыт ограничен английскими конечными контурами, небольшим набором предложений и двух систем. Основной анализ использует известную границу последнего слова; это не готовый потоковый интерфейс просодии. Сдвиг может менять качество голоса и слова, а уверенные интервалы рассчитаны по дикторам. Малые различия долей успешных переключений авторы не считают интерпретируемыми. Сохранение естественности оценивается ограниченным набором акустических и предсказанных показателей.

Фишка из статьи. Таблица 1 даёт почти прямую проверку того, по какому из двух входов depth-модели проходит управление. Все значения — нормированный сдвиг интонации, не доля правильно распознанных слов.

Как это читать: первый кодовый слой может сильно влиять на сгенерированные остаточные токены и содержание, но почти не переносить именно исследуемую мелодику. Поэтому для управления интонацией здесь полезнее вмешательство в состояние до depth-декодера. Нельзя обобщать этот вывод на любой кодек, все виды просодии или утверждать полное разделение содержания и интонации.

Источник. Оригинальное название: Steering intonational tunes in text-to-speech synthesis. arXiv:2610.27403; полный текст PDF.