EmpDPO: управление смысловым выделением слов в синтезе речи через оптимизацию предпочтений

Одну и ту же фразу можно произнести с разным смысловым выделением, не меняя текст. EmpDPO добавляет разметку выделяемых слов к готовой многоязычной диффузионной модели и усиливает её выполнение по автоматически выбранным парам удачной и неудачной генерации. Практически важен способ удержать качество речи: оптимизация предпочтений без опоры на обычное обучение здесь разрушается.

Метод. Основа принимает текст через замороженный T5, IPA-фонемы и образец голоса, генерируя латентные признаки DAC согласованием потоков. Сначала детектор выделения слов размечает 711 часов речи, и модель учится меткам в текстовом и фонемном входах. Затем для каждого текста создаются пять размеченных кандидатов и три обычных; рейтинг учитывает усиление каждого целевого слова относительно обычного произношения и селективность относительно остальных. После фильтров CER, качества, похожести голоса и ограничения амплитуды остаётся 5171 пара. Diffusion-DPO обучается 10 тыс. шагов вместе с исходной ошибкой восстановления на реальной речи.

Результаты. На 1680 условиях шести языков средний прирост оценки выделения δ повышается с 0,069 после SFT до 0,136 после DPO; Fish-S2 имеет 0,129. В субъективной проверке 364 носителя дают силе выделения 3,56±0,07 против 3,15±0,08 после SFT. Естественность остаётся близкой: 3,47±0,08 против 3,52±0,08. CER размеченного выхода 0,8%, но это результат данной сильной основы. Неверное выделение другого слова встречается в 32% оценок против 34% SFT и 29% Fish-S2: управление ещё не точное.

Ограничения. Малый объём пар не означает дешёвую разработку с нуля: основа обучена на 300 тыс. часов внутренней речи, а DPO использует восемь GPU и дополнительное повторное обучение на реальном корпусе. Один детектор участвует и в разметке, и в автоматической оценке, хотя субъективный опыт частично снимает эту зависимость. Проверяется одно выделяемое слово в коротких предложениях, а не сложная структура контрастов длинного текста. Некоторые внешние системы используют другие голоса или фиксированные акустические параметры, поэтому сравнение не полностью симметрично.

Фишка из статьи. Таблица 3 фиксирует одинаковые пары, инициализацию и параметры DPO, меняя только источник обычной ошибки восстановления. Одинаковый целевой δ скрывает заметно разный звуковой побочный эффект.

Как это читать: обучение на собственных победителях делает весь выход на 5,7 дБ громче, хотя целевой показатель тот же. Реальный корпус сохраняет уровень и качество. Без любой такой опоры примерно после 2000 шагов растут ошибки и победителей, и проигравших, речь становится неразборчивой: разностная цель DPO не запрещает ухудшить обе стороны одновременно. Контроль дополнительного SFT подтверждает, что выигрыш не просто следствие большего числа обновлений.

Источник. Оригинальное название: EmpDPO: Enabling Emphasis Control in TTS via Direct Preference Optimization. arXiv:2610.39427; полный текст PDF.