Просодия Управляемый синтез Обучение без разметки
arXiv eess.AS

ProTTS: автоматическое обнаружение смыслового выделения слов внутри синтезатора речи

ArXiv:2611.19832

ProTTS пытается определить, какие слова выделять интонацией, используя собственные предсказания высоты тона, энергии и длительности FastSpeech 2. Затем найденное выделение управляет поправками этих же признаков. Речь идёт о просодической заметности целого слова в предложении, а не об определении ударного слога в словаре; пользователь может заменить автоматическую маску своей.

Метод. Фонемные признаки высоты тона и энергии усредняются внутри слова, а длительности описываются статистиками, позицией и количеством фонем: получается 521-мерный вектор. Кластеризующая голова с двумя центрами и распределением Стьюдента разделяет слова на выделенные и невыделенные. Цель KL обостряет назначения, балансировочная цель препятствует схлопыванию в один кластер; кластер с большей нормой центра считается выделенным. Маска пропускает обучаемые поправки F0, энергии и длительности только для выбранных слов. После эпохи обновляются псевдометки и целевые поправки; оптимизируются синтез и кластеризация. Для начального размещения центров лучше оказались длительность и F0 без энергии, хотя дальнейшие признаки включают все три компонента.

Обнаруженное выделение управляет поправками просодии. Текст → FastSpeech 2: Базовые фонемные F0, энергия и длительность. Признаки целого слова: Новое: усреднение + статистики, 521 измерение. Два кластера: Новое: выделено / нет → бинарная маска. Маска пользователя: Необязательная замена автоматического выделения. Поправки просодии: Новое: изменять только слова, открытые маской. Mel-декодировщик → HiFi-GAN: Речь с выбранным выделением; без ручных меток в обучении.
Схема по материалам статьи, рисунок 1, разделы 3.2–3.6 и таблица 3. Схема применения; пунктир — замена автоматической маски пользователем. В обучении совместно оптимизируются восстановление и кластеризация, псевдометки обновляются после эпохи. Объединены отдельные головы F0, энергии, длительности и декодировщик; это выделение слова, не словарное ударение.

Результаты. При обучении в том же домене на ISLE F1 равна 0,839 для немецких и 0,861 для итальянских носителей, говорящих по-английски; каскад без совместной оптимизации получает 0,803 и 0,831. На Tatoeba модель, обученная на LibriTTS, даёт 0,933 F1. В слуховом тесте с 35 участниками естественность составляет 3,96±0,11 против 3,12±0,14 у FastSpeech 2, а предпочтение — 83,5%. Это сравнение с базовым синтезатором, не с современными крупными моделями. Заявление о превосходстве всех размеченных методов слишком сильное: в таблице 1 некоторые итальянские результаты равны 0,87, выше 0,861.

Ограничения. Бинарная маска упрощает непрерывную просодическую заметность. Акустические признаки не определяют однозначно намерение говорящего, контраст и контекст беседы; усреднение по слову размывает локальное выделение слога. Эксперименты английские, включая только два происхождения неродной речи; перенос на тональные языки и другие архитектуры синтеза не проверен. Предположение о норме центра и балансировка двух кластеров вносят априорные ограничения даже при отсутствии ручных меток.

Фишка из статьи. Таблица 3 отделяет впечатляющую внутридоменную F1 от переноса на неродную речь. Модель, обученная на английских носителях, теряет заметную долю качества на ISLE. Это практический сигнал для систем обучения произношению: отсутствие разметки не отменяет сдвиг распределения.

Обучающие данныеISLE GER F1ISLE ITA F1
ISLE, тот же домен0,8390,861
LibriTTS, перенос0,7810,752
VCTK, перенос0,7640,730

Как это читать: высокий результат на Tatoeba и устойчивость к акценту отвечают на разные вопросы. Автоматическое выделение следует проверять на целевой группе говорящих, особенно когда оно используется как обратная связь учащемуся.

Источник. Оригинальное название: ProTTS: End-to-End Prominence-aware Natural and Controllable Text-to-Speech via Automatic Word Stress Discovery. arXiv:2611.19832; полный текст PDF.

Оригинальная статья на arXiv