Синтез речи Flow Matching Ускорение генерации
arXiv cs.SD

Почему направляющая поправка на чистом шуме ухудшает сходство голоса в малошаговом синтезе

ArXiv:2611.11179

При сокращении Flow Matching до двух шагов речь может оставаться разборчивой, но терять сходство с образцом голоса. Авторы связывают часть потери с classifier-free guidance на самом первом, ещё полностью шумовом состоянии. Предложенная поправка FSU не требует обучения: первый шаг выполняется без направляющего усиления, а последующие сохраняют его.

Метод. Для декодеров, обусловленных речевыми токенами, содержание уже достаточно определено, а первая направляющая разность может сдвигать распределение к другому голосу. Это проверено парными экспериментами с одинаковыми токенами, длиной и шумом на CosyVoice 2/3, IndexTTS-2 и GLM-TTS. FSU-Mid дополнительно заменяет два шага Euler одним шагом метода средней точки. В обоих случаях нужны три вычисления сети вместо четырёх у двухшагового CFG; стандартный десятишаговый учитель CosyVoice использует двадцать.

Результаты. На полном Seed-TTS-eval английское сходство CosyVoice 2 повышается с 68,86 до 73,95 у FSU и 74,87 у FSU-Mid при 74,70 у учителя. WER остаётся около 2,8–2,9%. На IndexTTS-2 FSU-Mid возвращает 77–80% потерянного сходства для английского и китайского, но не достигает 25-шагового учителя. Улучшение сохранено на трудных текстах и LibriSpeech-PC; это изменение процедуры интегрирования, а не уменьшение размера исходной модели.

Ограничения. Поправка рассчитана на несколько шагов и токенное обусловливание. Для текстообусловленных F5-TTS и ZipVoice ранняя направляющая составляющая помогает установить выравнивание; её удаление повышает WER. На одном шаге авторы сохраняют обычный CFG. Совпадение сходства голоса с учителем не означает полного совпадения естественности: например, UTMOS у FSU-Mid на CosyVoice 2 ниже, чем у FSU и учителя.

Фишка из статьи. Таблица III позволяет разделить число вычислений, сходство и естественность. Ниже английская часть CosyVoice 2; SIM умножена на 100, UTMOS — автоматический предиктор, не оценка слушателей.

ПроцедураВычислений сетиSIMUTMOS
Два шага с CFG468,863,79
FSU373,954,17
FSU-Mid374,873,98
Десятишаговый учитель2074,704,17

Как это читать: лучший SIM и лучший предиктор естественности здесь достигаются разными малошаговыми вариантами. Это не аргумент отключить guidance вообще: важны момент его применения, условная ветвь и ошибка численного метода. Анализ геометрии связывает эффект со сдвигом центра распределения, а не просто с уменьшением разброса по случайным шумам.

Источник. Оригинальное название: Guidance at Pure Noise Erodes Speaker Similarity in Few-Step Token-Conditioned Flow-Matching TTS. arXiv:2611.11179; полный текст PDF.

Оригинальная статья на arXiv