WaveGen: прямой синтез звуковой волны с обучением внутренней спектральной траектории
WaveGen возвращается к прямому преобразованию текста в звуковую волну без внешнего кодека, VAE и вокодера. При этом модель не отказывается от спектральной структуры: она совместно предсказывает внутреннюю траекторию мел-спектра и волну. Работа интересна экспериментом, где слишком подробная спектральная подсказка мешает выучить соответствие текста и звука.
Метод. Волна 24 кГц перегруппируется в последовательность на частоте 100 Гц без отдельного обученного сжатия. Общие DiT-блоки получают шумовую волну, шумовой мел-спектр и расширенные текстовые признаки; неглубокие раздельные головки уточняют две траектории. Предсказывается чистый сигнал, а потери задаются в пространстве скорости Flow Matching и нескольких спектральных масштабах. Внутренний спектр генерируется той же сетью, поэтому это не обычный каскад «акустическая модель — вокодер», хотя спектральное промежуточное состояние в вычислениях присутствует.
Результаты. На Seed-en версия 0,6B получает WER 1,47% и сходство говорящего 0,75; версии 0,4B и 0,1B — 1,77%/0,63 и 4,42%/0,53. Для WaveGen-B субъективная естественность равна 4,000±0,126, близко к проверенным сильным базам, но не доказывает превосходства при перекрывающихся интервалах. В отдельном маломасштабном сравнении 407M-модель при 32 вычислениях и RTF 0,24 на A100 даёт WER 2,91%; эти цифры нельзя смешивать с основным большим обучением.
Ограничения. Основные результаты получены на английской речи; наличие многоязыковой версии не заменяет подробной проверки языков. Метод устраняет отдельное обучение кодека и вокодера, но не стоимость 32-шаговой генерации. Измеренный RTF не является задержкой потокового приложения. Абляции на LibriTTS и масштабирование на сотнях тысяч часов описывают разные режимы, поэтому их абсолютные WER несопоставимы.
Фишка из статьи. Таблица 4 показывает, что более богатый спектр может отвлечь сеть от выравнивания. Это контролируемый маломасштабный опыт, а не показатели финальной модели 0,6B.
| Внутренняя цель | WER, % | DNSMOS |
|---|---|---|
| Без спектральной траектории | 123,67 | 3,20 |
| Мел-спектр, 256 полос | 126,50 | 3,17 |
| Мел-спектр, 128 полос | 18,67 | 3,55 |
| Мел-спектр, 64 полосы | 4,96 | 3,72 |
Как это читать: сеть может производить акустически похожий звук, но не следовать тексту, что особенно видно по WER выше 100% при ещё умеренном DNSMOS. Ограниченная спектральная ёмкость оказывается полезным направляющим ограничением. Это также наглядная причина не оценивать синтез только предиктором акустической естественности.
Источник. Оригинальное название: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning. arXiv:2611.12527; полный текст PDF.