Аудиокодеки Квантование Синтез речи
arXiv eess.AS

ESDCodec: речевой кодек на 0,85 кбит/с с семантическим квантованием и подполосным декодером

ArXiv:2611.14043

ESDCodec сжимает речь до номинальных 850 бит/с, разделяя языковое содержание и акустические подробности. Интересен не только низкий поток данных: подполосная подсказка декодеру улучшает одновременно восстановление голоса и сохранность произносимых слов.

Метод. Сигнал 24 кГц преобразуется в 25 кадров/с. Один семантический словарь на 16 384 элемента и два акустических словаря на 1024 элемента дают 75 токенов/с: 25 × (14 + 10 + 10) = 850 бит/с без служебных расходов. Семантический SimVQ использует фиксированную случайную матрицу с обучаемым линейным преобразованием, а признаки w2v-BERT 2.0 служат учителем. Дополнительная сеть предсказывает подполосные амплитуды и фазы, восстанавливает сигнал через iSTFT и передаёт подсказки основному декодеру. Это именно кодек реконструкции речи, а не только скрытое представление для генерации.

Речь 24 кГц преобразуется в 25 кадров в секунду. Семантический SimVQ выдаёт один код, акустический RVQ два кода на кадр. Всего 75 токенов в секунду и 850 бит в секунду. После деквантования подполосная сеть передаёт условие декодеру, восстанавливающему речь.
Схема по материалам статьи, рис. 1 и разделы 2–3. Показан режим 0,85 кбит/с: одна семантическая и две акустические кодовые книги. RVQ кодирует остаток после семантической ветви. Зелёным выделены изменённый квантователь и декодирование с подполосным условием. ConvNeXt, обучающий SSL-учитель и остальные обученные слои RVQ опущены. Битрейт не включает служебные расходы; режим синтеза с восемью книгами здесь не показан.

Результаты. На 2620 записях LibriSpeech test-clean получены PESQ 2,49, STOI 0,921, ViSQOL 2,74 и WER 4,18%. У сопоставимого DualCodec при тех же 850 бит/с и 75 токенах/с: 2,32; 0,912; 2,61 и 4,70%. MUSHRA составляет 88,2 против 85,8. Полная модель содержит 89,78 млн параметров; подполосная часть добавляет около 9,6 млн. Обучение использует 97 тыс. часов английской и китайской речи.

Ограничения. Субъективная проверка мала: 10 слушателей и 15 фраз. Не приведены RTF, алгоритмическая задержка и память, поэтому низкий битрейт не доказывает пригодность для потоковой связи. Эксперимент синтеза использует восемь кодовых книг и не является проверкой режима 850 бит/с. XCodec при более высоком потоке 1 кбит/с имеет меньший WER 3,75%.

Фишка из статьи. В таблице 3 на с. 4 отключение подполосного условия едва меняет PESQ, но заметно повреждает содержание. Замена семантического квантователя обычным VQ действует существенно слабее. Таким образом, по одной перцептивной метрике важность этого компонента легко недооценить.

КонфигурацияPESQSTOIWER, %
Полная2,490,9214,18
Обычный семантический VQ2,430,9194,43
Без подполосного условия2,420,9166,38

Как это читать: Без условия WER растёт на 2,20 процентного пункта при падении PESQ всего на 0,07. Подсказка нужна не только для тембра и фазовой точности: она помогает сохранить разборчивое языковое содержание при жёстком ограничении потока.

Источник. Оригинальное название: ESDCodec: Ultra-Low Bitrate Speech Codec with Enhanced Semantic Disentanglement and Subband Decoding. arXiv:2611.14043; полный текст PDF.

Оригинальная статья на arXiv