Ruby-OPD: управление японским произношением и дистилляция синтеза по текстовым данным
Ruby-OPD сохраняет японские иероглифы вместе с подсказкой чтения, чтобы управлять произношением, не теряя смысловых и просодических сведений написания. Затем учитель с полной разметкой чтения обучает модель работать по обычному тексту. Существенная деталь: само добавление управления сначала ухудшает чтение неразмеченного текста, а второй этап исправляет именно этот регресс.
Метод. Основа Irodori-TTS-v4.1-Small предсказывает поле скоростей flow matching для непрерывных 32-мерных DACVAE-векторов с частотой 25 Гц. Это латентное представление, не самостоятельный битовый поток с установленным битрейтом. Разметка Ruby бывает неявной в скобках или явной с границами слова и чтения. Маскирование и замены иероглифов заставляют модель учитывать подсказку, а не читать обе формы подряд. Для SFT из Emilia отобраны 774 часа, согласованные между распознанной каной и словарной решёткой UniDic. На следующем этапе ученик проходит собственную траекторию из шума и приближает скорости замороженного учителя, получающего полное чтение.
Результаты. Использованы около 680 тысяч текстовых примеров однозначного чтения и 100 тысяч многозначного. На пересмотренном Joyo-Kanji-Yomi из 13536 предложений точность чтения оцениваемых иероглифов достигает 97,13% без Ruby на входе, Target PER 2,02%, Sentence PER 0,70%. Здесь PER фактически вычислен как ошибка символов каны, не независимая ручная фонемная разметка. При явной подсказке только целевого слова точность составляет 98,33%. Но общий Sentence CER остаётся 4,21% против 4,04% у исходной модели.
Ограничения. Проверен японский язык и один специализированный набор с автоматическими проверяющими распознавателями. Текстовые чтения синтезируются Gemini и фильтруются словарным согласованием, что не исключает всех смысловых ошибок. Дистилляция не обходится совсем без речи: 80% шагов используют новые тексты, 20% парные речевые данные для сохранения акустики и управления. Нет слушательского MOS, RTF, задержки и памяти. Представление 25 Гц не даёт само по себе ни битрейта сжатия, ни 40-мс задержки синтезатора.
Фишка из статьи. Таблица 2 позволяет отличить восстановление точности обычного ввода от улучшения всех свойств синтеза. Все строки используют текст без подсказок; сходство голоса ниже показано по CAM++.
| Вариант Irodori | Точность чтения, % | Target PER, % | Sentence CER, % | Сходство голоса |
|---|---|---|---|---|
| Исходный | 94,11 | 4,68 | 4,04 | 0,728 |
| Ruby-SFT | 92,32 | 6,05 | 4,40 | 0,703 |
| Ruby-OPD | 97,13 | 2,02 | 4,21 | 0,703 |
Как это читать: SFT учит новую форму управления, но слегка ухудшает неразмеченный ввод. OPD возвращает и улучшает чтение иероглифов, сохраняя показатели качества своего учителя, однако не возвращает исходное сходство голоса. Поэтому 97,13% — конкретный выигрыш произношения, не безусловное превосходство по натуральности, голосу и общей символьной ошибке одновременно.
Источник. Оригинальное название: Ruby-OPD: Enhancing Pronunciation Controllability and Accuracy for Flow-Matching Text-to-Speech via On-Policy Distillation. arXiv:2611.06403; полный текст PDF.