ImageTTS: перенос модели генерации изображений на синтез речи
ImageTTS превращает мел-спектрограмму в условное изображение и использует визуальные VAE и DiT от FLUX.2 для синтеза речи. Интерес работы не в том, что спектрограмма выглядит как картинка, а в контролируемой проверке переноса: одинаковый речевой генератор учится лучше при инициализации весами модели изображений. При этом остаются потери голосовой индивидуальности и высокая вычислительная цена.
Метод. Сто мел-полос масштабируются до размера, кратного требованиям VAE, нормируются и копируются в три канала. Замороженный визуальный VAE кодирует это псевдо-RGB, DiT обучается условному flow matching, декодирование заканчивается BigVGAN-v2. Сначала текст и аудио имеют отдельные ветви, затем объединяются общим вниманием. В синтезе нового голоса по образцу используются его латентный префикс и текст, без фонемного выравнивания. Для управления стилем замороженный Qwen3 кодирует расшифровку и инструкцию. Текстовая и голосовая силы CFG регулируются раздельно.
Результаты. В контроле на 100 тыс. обновлений предобученная и случайная инициализации дают WER 2,7 и 4,2%. Даже после 150 тыс. обновлений случайный вариант имеет 3,8%, несмотря на близкую обучающую потерю. После обучения на 100 тыс. часов Emilia ImageTTS-base получает Seed-TTS test-en WER 1,12%, SIM 0,66, MOS 4,08±0,18; на китайском CER 1,68%, SIM 0,72, MOS 4,01±0,17. Сходство китайского голоса ниже F5-TTS 0,76 и MaskGCT 0,77.
Ограничения. Это не синтез без речевых данных: большой опыт обучается на 64 A100, меняя все DiT-веса 4B-исходника. Вывод использует 50 шагов Euler с дополнительными CFG-ветвями, потоковое реальное время не показано. Нужную длительность задают извне, её точность исключена из оценки инструкций. Подбор CFG проведён на первых ста примерах теста, поэтому его минимум WER 0,55% не следует выдавать за независимый общий результат. Представления визуального VAE могут терять тонкие признаки диктора.
Фишка из статьи. Таблица 2 разделяет эффект предобучения и эффект пространства генерации при одинаковых 100 тыс. обновлений. Прямое моделирование мел-спектрограммы тоже выигрывает от визуальной инициализации, но имеет другой баланс качества и сходства.
| Пространство | Инициализация DiT | WER, % | SIM | DNSMOS |
|---|---|---|---|---|
| Латентное пространство VAE изображений | Визуальное предобучение | 2,7 | 0,78 | 3,78 |
| То же | Случайная | 4,2 | 0,77 | 3,72 |
| Мел-спектрограмма напрямую | Визуальное предобучение | 3,1 | 0,80 | 3,56 |
| То же | Случайная | 4,2 | 0,80 | 3,51 |
Как это читать: визуальные веса полезны не только за счёт конкретного VAE, а VAE не оптимален по каждому свойству речи. Более высокая DNSMOS сочетается с немного худшей SIM. Эти данные поддерживают перенос генеративного представления, но не доказывают, что изображенческая компрессия лучше специализированного речевого кодека при равном вычислительном бюджете.
Источник. Оригинальное название: ImageTTS: Repurposing Pretrained Image Diffusion Transformers for Speech Synthesis. arXiv:2610.34807; полный текст PDF.