Выразительный синтез Обучение предпочтениям Дистилляция
arXiv eess.AS

Как дообучать выразительный синтез речи без копирования плоской интонации образца

ArXiv:2611.19787

Голосовой образец задаёт не только личность диктора, но и манеру произнесения, поэтому нейтральная подсказка может подавлять эмоцию, которую требует текст. Авторы последовательно учат Qwen3-TTS лучше реагировать на содержание, а затем переносят поведение с выразительной подсказкой в режим слабой нейтральной подсказки. Сильная сторона работы — разбор этапов дообучения; важная цена — частичная потеря сходства голоса.

Метод. Исходная модель — Qwen3-TTS-12Hz-1.7B-Base. Сначала строятся проверенные моделью-судьёй пары предпочтений: сильный синтезатор предлагает выразительную речь, исходная модель — несколько вариантов; фильтруются текстовые ошибки и качество, голоса расширяются через SeedVC. После DPO на 20 тыс. пар для 500 голосов выполняют GSPO с наградой за просодию, UTMOS, точность распознавания и сходство диктора. Финальный OPSD сравнивает распределения полного словаря при одинаковом префиксе: ученик получает слабую подсказку, остановленный по градиенту учитель — сильную. Минимизируется JSD; при применении выразительный образец учителя не нужен. Это обучение условному поведению, а не добавление ещё одного распознавателя в тракт синтеза.

Сильная подсказка учит модель работать со слабой. Qwen3-TTS, исходные веса: 1.7B; нейтральный образец ограничивает просодию. 1. DPO на предпочтениях: 20 тыс. пар, 500 голосов после расширения. 2. GSPO: несколько наград: Просодия, WER, UTMOS и сходство диктора. OPSD: сильная подсказка: Учитель: распределение полного словаря, stop-gradient. 3. OPSD: слабая подсказка: Новое: JSD распределений при общем префиксе. Применение со слабой подсказкой: Сильный образец не нужен; сходство голоса снижается.
Схема по материалам статьи, раздел 2.3, уравнения 1–4 и таблица 1. Показаны три стадии обучения; пунктир — цель дистилляции, не дополнительный вход при применении. Учитель в OPSD остановлен по градиенту, префикс токенов общий. Подготовка предпочтений Gemini/SeedVC и точные веса наград опущены.

Результаты. В основном усреднённом тесте эмоция повышается с 18,5 у базы до 66,8 после DPO, 69,6 после GSPO и 81,2 после OPSD; паралингвистические элементы — с 38,4 до 57,6, 66,3 и 73,9. Но английский WER Seed-TTS меняется с 1,23% до 1,55%, а SIM с 0,72 до 0,59. Субъективная просодическая оценка PMOS растёт с 3,45 до 3,95, сходство SMOS снижается с 4,00 до 3,80. В парном тесте со слабой подсказкой OPSD предпочитают базе в 67,4% сравнений, базу — в 25,7%; остальные ответы являются ничьими.

Ограничения. Много решений зависит от закрытых Gemini-судей и синтетических предпочтений. Парный слуховой эксперимент включает 20 слушателей, но лишь три голоса; это не широкая проверка всех дикторов. Основные таблицы и одноголосые внутридоменные абляции имеют разные шкалы, их результаты не следует объединять. Расширение голосов в отдельных вариантах сопровождается изменением объёма и построения данных; не весь выигрыш можно приписать только разнообразию. Улучшение выразительности не доказывает сохранения личности или произношения.

Фишка из статьи. Таблица 1 позволяет увидеть траекторию компромисса, а не только максимальную эмоциональность. GSPO частично исправляет ухудшение сходства после DPO, тогда как OPSD снова сдвигает решение к выразительности. Это полезнее единственного итогового рейтинга.

ЭтапЭмоция ↑Паралингвистика ↑SIM, английский ↑SMOS ↑
База18,538,40,724,00
DPO, 20 тыс. / 500 голосов66,857,60,553,80
GSPO69,666,30,623,95
OPSD81,273,90,593,80

Как это читать: выбирать этап стоит по задаче. Для актёрского исполнения дополнительная выразительность может оправдать потерю сходства; для персонального голоса такой обмен нельзя считать бесплатным улучшением.

Источник. Оригинальное название: Rethinking Post-Training for Expressive Zero-Shot Text-to-Speech. arXiv:2611.19787; полный текст PDF.

Оригинальная статья на arXiv