LeanTTS: компактный полный стек двуязычного синтеза с клонированием и заданными голосами
LeanTTS сжимает весь обучаемый путь синтеза, включая китайское произношение и вокодер, а не только главную акустическую сеть. Один каркас поддерживает два принципиально разных режима: новый голос по образцу и восемь заранее изученных голосов по токену. Их разделение особенно важно, потому что хороший результат для знакомого голоса существенно переоценивает возможности клонирования неизвестного человека.
Метод. Акустическая модель получается из ZipVoice через сокращение глубины, выбор каналов по норме и восстановительное обучение с учителем, после которого продолжается обучение на настоящих целях. Для четырёхшагового MeanFlow отдельно используется дистилляция развёрток учителя на фиксированной сетке с состояниями, посещёнными учеником. Компактный китайский G2P включает контекст только для многозначных иероглифов и считает максимум шесть кандидатов вместо полного словаря 659 произношений. Vocos уменьшен до 2,1 млн параметров. Вариант с акустикой 13,3 млн имеет 18,9 млн параметров всего обучаемого пути.
Результаты. На Seed-TTS-Eval четырёхшаговое клонирование даёт CER 2,02% и сходство 62,3 на китайском, WER 2,32% и сходство 48,3 на английском. У существенно большего ZipVoice сходство 75,2 и 69,6, поэтому сжатие не бесплатно. Средний/P90 CPU RTF компактной системы равен 0,049/0,061 на одном потоке Apple M5. Для заранее обученных голосов английский UTMOS поднимается с 3,12 до 4,33, однако это другой режим с прямым надзором по голосу.
Ограничения. Проверены два языка, восемь известных голосов и один CPU. Android-результат получен в эмуляторе, не на физическом мобильном процессоре. Каждый заданный голос представлен сотнями часов обучения, это не персонализация по нескольким секундам. UTMOS и распознавание синтеза не заменяют человеческое прослушивание; сходство неизвестных голосов заметно потеряно. Измерения времени при четырёх NFE не следует без оговорки связывать с качеством 25M-модели, для которой основная таблица использует 16 шагов.
Фишка из статьи. Таблица 1 сравнивает один и тот же четырёхшаговый 13M-каркас при разных условиях. SIM здесь косинусное сходство, умноженное на 100, а не процент правильной идентификации.
| Режим и язык | CER / WER, % | SIM | UTMOS |
|---|---|---|---|
| Новый голос по образцу, китайский | 2,02 | 62,3 | 2,41 |
| Знакомый голос по токену, китайский | 1,57 | 77,2 | 3,03 |
| Новый голос по образцу, английский | 2,32 | 48,3 | 3,12 |
| Знакомый голос по токену, английский | 1,93 | 76,6 | 4,33 |
Как это читать: большой скачок SIM и естественности отражает доступ к голосу при обучении, а не устранение всех потерь сжатия. В инженерной спецификации нужно отдельно указывать размер полного стека, число шагов, известность диктора и аппаратный протокол. Название 13M относится к акустическому модулю, а не к полному размеру поставляемой системы.
Источник. Оригинальное название: LeanTTS: Efficient Full-Stack Bilingual TTS for Zero-Shot Cloning and Voice Customization. arXiv:2610.34408; полный текст PDF.