Ninada: потоковый синтез речи в браузере с выбором модели под устройство
Ninada разбивает VITS на исполняемые части и начинает воспроизведение внутри длинной фразы, а не после её полного синтеза. Для разных устройств выбираются студийный HiFi-GAN или облегчённый iSTFTNet. Работа особенно полезна проверкой на настоящем телефоне: замедление настольного браузера оказалось недостаточной имитацией мобильных ограничений.
Метод. Один ONNX-файл во время загрузки разделяется на предсказание длительностей, обратное преобразование flow и вокодер. Последний получает перекрывающиеся участки скрытой последовательности; контекст по 12 кадров с каждой стороны предотвращает разрывы свёрточного поля. iSTFT выражен обычной вещественной транспонированной свёрткой, чтобы не зависеть от неподдерживаемых комплексных операций WebAssembly. INT8 применяется к подходящим линейным слоям, FP16 — к вокодеру; мобильная модель занимает 21,7 МБ против 27,9 МБ студийной ONNX.
Результаты. На 480 отложенных студийных записях 12 языков средняя MCD в полосе 0–8 кГц равна 3,22 дБ для Studio и 3,09 дБ для Mobile против 5,17 у набора MMS. На Pixel 10 Pro XL мобильный вариант с шестью WASM-потоками имеет RTF 0,75–0,76 и начало слышимого воспроизведения через 538–649 мс, без зарегистрированных опустошений очереди. Студийный вариант на телефоне оказывается медленнее реального времени, хотя настольная имитация с замедлением показывала обратное.
Ограничения. Это специализированные студийные голоса, без переноса тембра по произвольному образцу. MCD с динамическим выравниванием не заменяет человеческую естественность. Изоляция источников и потоки WebAssembly зависят от браузера; на одном потоке или при нагреве RTF может превысить единицу. Планировщик тогда переносит ожидание между предложениями, но не устраняет недостаток производительности.
Фишка из статьи. Формула 4 объясняет, почему слишком мелкие блоки могут разрушить поток даже у быстрого вокодера. При H=12 и «сыром» RTF 0,56 эффективное отношение времени оценивается как 0,56×(V+24)/V. Ниже расчёт, а не дополнительные измерения телефона.
| Полезных кадров V | Вычисляемых кадров | Расчётный эффективный RTF |
|---|---|---|
| 20 | 44 | 1,232 |
| 32 | 56 | 0,980 |
| 96 | 120 | 0,700 |
Как это читать: контекстные поля приходится считать повторно: быстрая сеть с коротким полезным выходом становится медленной системой. Требуется V больше 30,5 кадра; если исходный RTF уже не ниже единицы, никакой размер блока не спасает устойчивое воспроизведение. Поэтому оптимизация первой задержки и устойчивого потока требует разных размеров начального и последующих блоков.
Источник. Оригинальное название: Ninada: Sub-Clause Split-Graph VITS Streaming and Capability-Routed 24 kHz Speech Synthesis Across Twelve Scripts. arXiv:2611.10035; полный текст PDF.