Синтез речи Нейрокодеки Потоковое аудио
arXiv cs.SD

ZONOS3-Mini и ZAC-1: компактный синтез, кодек 1,8 кбит/с и цена быстрого декодирования

ArXiv:2611.16525

ZONOS3-Mini сочетает гибридную сеть синтеза с низкочастотным нейрокодеком ZAC-1. Отчёт интересен тем, что отдельно показывает активные параметры генератора, стоимость всего кодека и компромисс между восстановлением и быстрым декодированием. Название Mini не означает, что весь тракт состоит из ста миллионов параметров.

Метод. Генератор содержит 886 млн параметров, из которых около 100 млн активны; из 11 слоёв девять используют Gated DeltaNet и два глобальное внимание. Внутри экспертов MoE представление сужается с 1 024 до 256 измерений. ZAC-1, кодировщик и декодировщик которого вместе имеют 1,99 млрд параметров, переводит звук 44,1 кГц в 15 кадров/с. В кадре десять кодов: один семантический и девять остаточных, по 4 096 значений. Это 150 кодовых индексов/с и номинальные 1,80 кбит/с, а не 15 токенов/с. Декодировщик проходит частоты 15–240 Гц и восстанавливает модуль и фазу для двух iSTFT-разрешений; выпускаются полный и сокращённый keep-2 на 144 млн параметров.

Тот же битрейт, два разных бюджета декодирования. Текст + условие голоса: Вход синтеза ZONOS3-Mini. Гибрид GDN / внимание / MoE: 886 млн всего, около 100 млн активных параметров. ZAC-1: 15 кадров/с: Новое: 10 кодов/кадр, 150 кодов/с, номинально 1,8 кбит/с. Полный декодировщик: 44,1 кГц; PESQ 2,88; H100 batch 256: 1 180×. Сокращённый keep-2: 144 млн; PESQ 2,51; H100 batch 256: 3 950×.
Схема по материалам статьи, разделы 2–3, рисунки 1–2 и таблица 2. Показан тракт синтеза, кодировщик и семантический учитель обучения кодека опущены. 1,8 кбит/с вычислены для 10 индексов по 12 бит на кадр; пакетная скорость не является задержкой одного пользователя.

Результаты. На 1 600 фрагментах ZTTS2-Eval, приведённых к 16 кГц, полный ZAC-1 получает PESQ 2,88 и STOI 0,928. Сокращённый декодировщик даёт 2,51 и 0,911 при том же битрейте. На H100 при пакете 256 скорость только декодирования составляет 1 180 и 3 950 длительностей аудио в секунду соответственно. После обучения синтеза макроусреднённая ошибка для режима с представлением голоса равна 6,71%, SIM 81,2; у режима с исходным аудиообразцом 6,70% и 69,8. Авторский протокол ограничивает ошибку каждой фразы 100% и использует CER для китайского и японского, поэтому это не обычный неограниченный WER.

Ограничения. ZTTS2-Eval содержит 55 частей: 35 чистых и 20 естественных условий, а не обязательно 55 разных языков. Набор авторский и связан с разработкой модели. Профили квантованных весов 0,66–1,03 ГБ не равны полной оперативной памяти приложения. Пакетная скорость на H100 не характеризует одного пользователя или весь синтез. Отдельные мобильные задержки, например менее 800 мс на Pixel 9, являются измерениями авторов в их конфигурации, а не независимо подтверждённым свойством любого развёртывания.

Фишка из статьи. Таблица 2 и раздел о декодировщике держат битрейт неизменным и меняют вычислительную часть восстановления. Авторы сначала пробовали симметричные кодировщик и декодировщик с лучшей реконструкцией, но в большом пакете перемещение активаций с частотой волнового сигнала стало слишком дорогим по памяти. Полный выпуск использует ConvNeXt и iSTFT вместо последней тяжёлой ступени, а keep-2 дополнительно убирает наиболее дорогие Transformer-блоки для режима малого пакета. Таким образом, узкое место памяти большого пакета и арифметики одного устройства приводит к двум разным декодировщикам.

ZAC-1кбит/сPESQ / STOI, ZTTS2-EvalSIMH100, пакет 256: скорость
Полный декодировщик1,802,88 / 0,92888,71 180× реального времени
keep-21,802,51 / 0,91184,93 950× реального времени

Как это читать: ускорение примерно в 3,35 раза получено без изменения числа передаваемых битов, за счёт потери части качества. Последний столбец измеряет только декодировщик в большом пакете и не является RTF полного диалога. Низкий битрейт не гарантирует ни маленькую модель кодека, ни минимальную задержку на устройстве.

Источник. Оригинальное название: ZONOS3-Mini Technical Report. arXiv:2611.16525; полный текст PDF.

Оригинальная статья на arXiv