Управление произношением редких названий в разговорном синтезаторе через фонемную адаптацию

Разговорный синтезатор может звучать естественно, но неверно произносить редкие названия, которые особенно важны для понимания. Авторы добавляют явное управление фонемами к уже обученному FireRedTTS-2, сохраняя его диалоговое обусловливание. Отдельно показано, какая часть выигрыша приходит от фонемной настройки, а какая от дополнительного аудиообразца нужного слова.

Метод. В свободные индексы словаря добавляются 131 специальный элемент ARPAbet и границы. Во время продолженной SFT часть слов заменяется фонемной записью; акустический кодек не меняется. Основная модель содержит около 1,7 млрд параметров, смесь настройки около 50 тысяч часов, обучение использует восемь H200. Второй приём не требует новых весов: отдельная предшествующая реплика с произношением целевого названия задаётся как контекст. Тест содержит 300 названий препаратов, пять шаблонов и пять генераций, всего 7500 клипов. Эти названия не встречаются при настройке.

Результаты. По автоматическому судье PHON60 получает 90,7±0,6% строго правильных произношений против 54,6±0,3% у контрольной SFT без фонем. Без дополнительного звукового контекста PHON60 даёт 84,2±3,4%; следовательно, весь выигрыш нельзя приписать только новому словарю. На Seed-TTS-Eval WER остаётся около 1,8–2,0%. В отдельной человеческой проверке правильными признаны 42 из 50 примеров PHON60, то есть 84%, против 82% у VoxCPM2; интервалы перекрываются и не доказывают превосходства.

Ограничения. Это английский ARPAbet и один адаптируемый диалоговый синтезатор. Редкие названия исключены из обучения, но усиленный режим требует заранее подготовленного банка правильных записей для известных целевых слов. Тот же образец используется судье и в контексте модели, что может влиять на автоматическую оценку. Человеческая подвыборка мала, а внешние системы отличаются масштабом, данными и доступными типами подсказок. Работа не является клинической проверкой безопасности произнесённых назначений.

Фишка из статьи. Автоматический лидер не обязательно убедительно обходит альтернативу у слушателей. Таблица 4 позволяет сравнить оценки на тех же пятидесяти клипах каждого синтезатора.

Как это читать: на этой подвыборке автоматический разрыв PHON60 и VoxCPM2 составляет восемь пунктов, человеческий только два. Интервал для PHON60 равен 71,5–91,7%, для VoxCPM2 69,2–90,2%. Совпадение бинарных решений судьи и большинства слушателей по всем 250 клипам составляет 84,8%, κ=0,57: полезный инструмент отбора, но не замена независимой проверке произношения.

Источник. Оригинальное название: Pronouncing Hard Words: Phoneme Adaptation of a Pretrained Conversational Text to Speech Model. arXiv:2610.24164; полный текст PDF.