Language-Statistical Analysis of Neural Audio Codec Tokens Across Architectures, Corpora, and Noise Conditions
Токены нейронного аудиокодека часто передают языковой модели как будто это обычный словарь, но их статистика сильно зависит от квантователя и шума. Работа сравнивает 13 кодеков и показывает не единую «языковую» закономерность, а два разных режима отказа: белый шум схлопывает словарь многоступенчатых кодеков, тогда как бытовой шум чаще раздувает его.
Метод. Три корпуса обрабатываются в чистом виде, с белым шумом 0 дБ и шумом DEMAND 0 дБ. Для 13 кодеков из семейств RVQ, однословарного VQ и неквантованных представлений измеряются закон Ципфа, рост словаря, энтропия, заполнение кодовых книг, повторяемость и дивергенция Йенсена–Шеннона; всего 117 сочетаний. Для 12 декодируемых кодеков статистический сдвиг сопоставляется с UTMOS, MCD, ошибкой F0, UER и изменением CER.
Результаты. Корпус влияет мало по сравнению с архитектурой и типом шума. Для RVQ белый шум даёт 14 случаев схлопывания словаря из 21, уменьшает переходную энтропию на 1,31 и заполнение примерно на 40 п.п.; DEMAND, напротив, даёт 13 случаев взрывного расширения и повышает энтропию на 0,63. Связь дивергенции токенов с качеством также зависит от шума: ранговая корреляция с UTMOS равна 0,06 для белого шума и −0,65 для DEMAND.
Ограничения. Есть только два вида шума при одном SNR, без реверберации, канальных искажений и речи поверх речи. Качество оценивается автоматическими мерами, корреляции строятся всего по 12 кодекам. Архитектура смешана с размером словаря, скоростью токенов и битрейтом, а пороги «схлопывания» и «взрыва» заданы операционно, поэтому причинные выводы делать рано.
Фишка из статьи. Одинаковый SNR не означает одинаковую поломку токенизатора. Для RVQ некоррелированный белый шум концентрирует выдачу в малой части кодов, а структурированный бытовой шум создаёт множество новых переходов; однословарные кодеки по выбранному критерию почти всегда остаются нейтральными.
| Семейство и шум | Схлопывание / взрыв / нейтрально | Изменение переходной энтропии | Изменение заполнения |
|---|---|---|---|
| RVQ, белый | 14 / 1 / 6 | −1,31 | −40 п.п. |
| RVQ, DEMAND | 1 / 13 / 7 | +0,63 | +2 п.п. |
| Однословарный VQ, белый | 0 / 0 / 9 | без устойчивого режима | −57 п.п. |
| Однословарный VQ, DEMAND | 0 / 0 / 9 | без устойчивого режима | −9 п.п. |
| Без VQ, белый | 0 / 1 / 8 | зависит от модели | зависит от модели |
| Без VQ, DEMAND | 0 / 3 / 6 | зависит от модели | зависит от модели |
Как это читать: три счётчика относятся к отдельным сочетаниям кодека и корпуса, а не к числу моделей. «Нейтрально» не означает отсутствие деградации: например, однословарный VQ теряет заполнение, но не пересекает совместный порог изменения рангов и переходов.