Revise-TTS: итеративное исправление речевых токенов без маскирования в диффузионном синтезе речи
В маскируемом диффузионном синтезе уже раскрытый ошибочный токен часто остаётся неизменным и влияет на следующие предсказания. Revise-TTS позволяет пересматривать такие решения: модель учится восстанавливать всю карту токенов из смеси правильных и случайных значений и повторяет это уточнение при синтезе. Вторая часть работы — иерархическое бинарное квантование HBQ, которое даёт токенам явную структуру от грубого уровня к точному.
Метод. Каждый канал HBQ последовательно делит интервал значений пополам, формируя битовое представление либо упакованный индекс. Generative refinement network получает случайно испорченную карту целевых токенов и учится предсказывать все позиции; при выводе часть значений снова заменяется случайными и оценивается заново. Используются 32 итерации, архитектура на основе OmniVoice и модифицированный XCodec 2.0. Основная модель обучена на 46,8 тыс. часов английской и 49,9 тыс. часов китайской речи Emilia.
Результаты. HBQ при одинаковой ёмкости 16 бит на кадр превосходит FSQ в абляциях: на LibriSpeech-PC WER 1,86% против 2,07%, сходство диктора 0,427 против 0,290. Итоговый Revise-TTS получает WER 2,00% на LibriSpeech-PC и 2,91% на Seed-TTS EN, CER 1,19% на Seed-TTS ZH. При этом OmniVoice лучше на всех трёх тестах: 1,57%, 1,72% и 0,89%, а сходство диктора у Revise-TTS заметно ниже. Субъективный CMOS также не показывает общего превосходства.
Ограничения. Проверены два языка, обучение требует до 16 A100, а ускорение или RTF не измерены. Часть сравнений смешивает замену квантователя и способа генерации, поэтому их эффекты нужно читать отдельно. Человеческая оценка основана на 40 фрагментах с минимум 15 оценками каждого; сохранение индивидуального голоса остаётся слабым местом. Возможность исправления токенов сама по себе не гарантирует лучшие итоговые результаты.
Фишка из статьи. Контролируемая проверка с одним и тем же кодеком Higgs и 100 тыс. шагов обучения оказывается отрицательной для основного механизма GRN: обычное маскирование чаще точнее и лучше сохраняет диктора.
| Тест | Masking: SIM / WER или CER, % | GRN: SIM / WER или CER, % |
|---|---|---|
| LibriSpeech-PC | 0,689 / 1,81 | 0,646 / 1,80 |
| Seed-TTS EN | 0,701 / 1,98 | 0,637 / 2,50 |
| Seed-TTS ZH | 0,762 / 1,06 | 0,719 / 1,27 |
Как это читать: на первом наборе разборчивость почти совпадает, но сходство голоса хуже; на двух других уступают оба показателя. Наиболее убедителен здесь результат по структуре HBQ, тогда как преимущества немаскируемого уточнения требуют дальнейшего подтверждения.
Источники. Страница arXiv; PDF статьи. Оригинальное название: Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech.