Синтез речи Генерация волны Спектральные потери
arXiv cs.SD

WaveGen: прямой синтез звуковой волны с обучением внутренней спектральной траектории

ArXiv:2611.12527

WaveGen возвращается к прямому преобразованию текста в звуковую волну без внешнего кодека, VAE и вокодера. При этом модель не отказывается от спектральной структуры: она совместно предсказывает внутреннюю траекторию мел-спектра и волну. Работа интересна экспериментом, где слишком подробная спектральная подсказка мешает выучить соответствие текста и звука.

Метод. Волна 24 кГц перегруппируется в последовательность на частоте 100 Гц без отдельного обученного сжатия. Общие DiT-блоки получают шумовую волну, шумовой мел-спектр и расширенные текстовые признаки; неглубокие раздельные головки уточняют две траектории. Предсказывается чистый сигнал, а потери задаются в пространстве скорости Flow Matching и нескольких спектральных масштабах. Внутренний спектр генерируется той же сетью, поэтому это не обычный каскад «акустическая модель — вокодер», хотя спектральное промежуточное состояние в вычислениях присутствует.

Результаты. На Seed-en версия 0,6B получает WER 1,47% и сходство говорящего 0,75; версии 0,4B и 0,1B — 1,77%/0,63 и 4,42%/0,53. Для WaveGen-B субъективная естественность равна 4,000±0,126, близко к проверенным сильным базам, но не доказывает превосходства при перекрывающихся интервалах. В отдельном маломасштабном сравнении 407M-модель при 32 вычислениях и RTF 0,24 на A100 даёт WER 2,91%; эти цифры нельзя смешивать с основным большим обучением.

Ограничения. Основные результаты получены на английской речи; наличие многоязыковой версии не заменяет подробной проверки языков. Метод устраняет отдельное обучение кодека и вокодера, но не стоимость 32-шаговой генерации. Измеренный RTF не является задержкой потокового приложения. Абляции на LibriTTS и масштабирование на сотнях тысяч часов описывают разные режимы, поэтому их абсолютные WER несопоставимы.

Фишка из статьи. Таблица 4 показывает, что более богатый спектр может отвлечь сеть от выравнивания. Это контролируемый маломасштабный опыт, а не показатели финальной модели 0,6B.

Внутренняя цельWER, %DNSMOS
Без спектральной траектории123,673,20
Мел-спектр, 256 полос126,503,17
Мел-спектр, 128 полос18,673,55
Мел-спектр, 64 полосы4,963,72

Как это читать: сеть может производить акустически похожий звук, но не следовать тексту, что особенно видно по WER выше 100% при ещё умеренном DNSMOS. Ограниченная спектральная ёмкость оказывается полезным направляющим ограничением. Это также наглядная причина не оценивать синтез только предиктором акустической естественности.

Источник. Оригинальное название: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning. arXiv:2611.12527; полный текст PDF.

Оригинальная статья на arXiv