DriftTTS: одношаговый синтез речи с генеративным дрейфом сегментов

DriftTTS переносит итеративное приближение к распределению речи с момента синтеза на обучение. Вместо многократного вычисления поля скоростей декодер сразу предсказывает mel-спектрограмму, а обучающий сигнал притягивает его результаты к настоящим сегментам и отталкивает от других сгенерированных. Для речи принципиально важно выполнять это над связными отрезками, а не независимо над кадрами.

Метод. Система сохраняет текстовый кодировщик, предсказатель длительности и монотонное выравнивание архитектуры Matcha-TTS, но убирает временной шаг из декодера. Начальным состоянием служит выровненное текстовое представление, дополненное шумом. При обучении обрабатываются сегменты по 80 кадров, примерно 0,93 с. Поле генеративного дрейфа вычисляется в признаках отдельно обученного маскированного автокодировщика MAE, а не непосредственно в высокоразмерном mel-пространстве; используются три температурных масштаба. Готовая спектрограмма преобразуется в звук HiFi-GAN. Предварительно обученный синтезатор речи не нужен, но дополнительный MAE нужен.

Результаты. На LJSpeech DriftTTS получает WER 1,80% и субъективный MOS 4,43±0,08 против 1,93% и 4,38±0,08 у десятишагового Matcha-TTS. Интервалы MOS перекрываются, поэтому корректнее говорить о сопоставимом качестве. RTF на одной A10 равен 0,00441 против 0,0187: акустическая модель примерно в 4,2 раза быстрее. Однако одношаговые MeanFlow и RapFlow имеют RTF около 0,00419 и чуть быстрее DriftTTS. MOS основан на 290 ответах 153 слушателей; скорость измерена на 500 фразах.

Ограничения. Проверен один англоязычный диктор LJSpeech, без переноса голоса и многодикторного синтеза. RTF не включает вокодер и не является задержкой полного речевого тракта. Обучение требует 2000 эпох на четырёх A10, отдельного извлекателя признаков и достаточно больших мини-пакетов. Сходство итоговых MOS не доказывает отсутствие локальных ошибок или пригодность для потокового режима.

Фишка из статьи. Абляция в таблице 2 отделяет понятность от плавности звучания. Покадровый дрейф может правильно воспроизводить слова, одновременно разрушая естественные переходы между кадрами.

Как это читать: низкая ошибка распознавания третьей строки не означает качественный синтез. Распределение отдельных кадров можно согласовать с целевым, не согласовав их порядок и соседство; авторы называют это ложной сходимостью. Привязка соседних кадров в сегмент и подходящее пространство признаков решают разные проблемы, поэтому убирать один из этих элементов только ради скорости обучения рискованно.

Источник. Оригинальное название: DriftTTS: One-stage Single Step Text-to-Speech via Generative Drifting. arXiv:2610.22960; полный текст PDF.