ZONOS3-Mini и ZAC-1: компактный синтез, кодек 1,8 кбит/с и цена быстрого декодирования
ZONOS3-Mini сочетает гибридную сеть синтеза с низкочастотным нейрокодеком ZAC-1. Отчёт интересен тем, что отдельно показывает активные параметры генератора, стоимость всего кодека и компромисс между восстановлением и быстрым декодированием. Название Mini не означает, что весь тракт состоит из ста миллионов параметров.
Метод. Генератор содержит 886 млн параметров, из которых около 100 млн активны; из 11 слоёв девять используют Gated DeltaNet и два глобальное внимание. Внутри экспертов MoE представление сужается с 1 024 до 256 измерений. ZAC-1, кодировщик и декодировщик которого вместе имеют 1,99 млрд параметров, переводит звук 44,1 кГц в 15 кадров/с. В кадре десять кодов: один семантический и девять остаточных, по 4 096 значений. Это 150 кодовых индексов/с и номинальные 1,80 кбит/с, а не 15 токенов/с. Декодировщик проходит частоты 15–240 Гц и восстанавливает модуль и фазу для двух iSTFT-разрешений; выпускаются полный и сокращённый keep-2 на 144 млн параметров.

Результаты. На 1 600 фрагментах ZTTS2-Eval, приведённых к 16 кГц, полный ZAC-1 получает PESQ 2,88 и STOI 0,928. Сокращённый декодировщик даёт 2,51 и 0,911 при том же битрейте. На H100 при пакете 256 скорость только декодирования составляет 1 180 и 3 950 длительностей аудио в секунду соответственно. После обучения синтеза макроусреднённая ошибка для режима с представлением голоса равна 6,71%, SIM 81,2; у режима с исходным аудиообразцом 6,70% и 69,8. Авторский протокол ограничивает ошибку каждой фразы 100% и использует CER для китайского и японского, поэтому это не обычный неограниченный WER.
Ограничения. ZTTS2-Eval содержит 55 частей: 35 чистых и 20 естественных условий, а не обязательно 55 разных языков. Набор авторский и связан с разработкой модели. Профили квантованных весов 0,66–1,03 ГБ не равны полной оперативной памяти приложения. Пакетная скорость на H100 не характеризует одного пользователя или весь синтез. Отдельные мобильные задержки, например менее 800 мс на Pixel 9, являются измерениями авторов в их конфигурации, а не независимо подтверждённым свойством любого развёртывания.
Фишка из статьи. Таблица 2 и раздел о декодировщике держат битрейт неизменным и меняют вычислительную часть восстановления. Авторы сначала пробовали симметричные кодировщик и декодировщик с лучшей реконструкцией, но в большом пакете перемещение активаций с частотой волнового сигнала стало слишком дорогим по памяти. Полный выпуск использует ConvNeXt и iSTFT вместо последней тяжёлой ступени, а keep-2 дополнительно убирает наиболее дорогие Transformer-блоки для режима малого пакета. Таким образом, узкое место памяти большого пакета и арифметики одного устройства приводит к двум разным декодировщикам.
| ZAC-1 | кбит/с | PESQ / STOI, ZTTS2-Eval | SIM | H100, пакет 256: скорость |
|---|---|---|---|---|
| Полный декодировщик | 1,80 | 2,88 / 0,928 | 88,7 | 1 180× реального времени |
| keep-2 | 1,80 | 2,51 / 0,911 | 84,9 | 3 950× реального времени |
Как это читать: ускорение примерно в 3,35 раза получено без изменения числа передаваемых битов, за счёт потери части качества. Последний столбец измеряет только декодировщик в большом пакете и не является RTF полного диалога. Низкий битрейт не гарантирует ни маленькую модель кодека, ни минимальную задержку на устройстве.
Источник. Оригинальное название: ZONOS3-Mini Technical Report. arXiv:2611.16525; полный текст PDF.