Многоскоростное расширение полосы через дополнение токенов в нейросетевых звуковых кодеках

Авторы формулируют расширение полосы не как восстановление отсчётов, а как дополнение дискретных токенов уже обученного звукового кодека. Один декодерный трансформер получает коды сигнала, предварительно приведённого к 48 кГц, и восстанавливает недостающую высокочастотную информацию для входов 8, 16, 24 и 32 кГц без явной метки частоты среза.

Метод. Кодек остаётся замороженным, а предиктор работает с первым уровнем остаточного векторного квантования. Подход реализован для спектрального SpectroStream и волнового DAC, обучен на музыке Jamendo и проверен на MUSDB18 и вне домена на OrchideaSOL. Частотно-временная структура кодовых книг исследуется отдельным шумовым зондом.

Результаты. На MUSDB18 при входе 8 кГц SpectroStream получает ViSQOL 2,99, DAC — 2,88 против 2,77 у UniverSR и 2,56 у A2SB. При 24 кГц значения достигают 3,94 и 3,90. В MUSHRA на 8 кГц A2SB получает медиану 70, DAC — 67, а исходная ограниченная полоса — 32; участвовали 10 слушателей и 12 фрагментов.

Ограничения. Исследуется музыка, а не речь; каждый предиктор всё ещё привязан к распределению токенов одного замороженного кодека. Субъективный тест проведён только для 8 кГц и DAC, а объективное превосходство SpectroStream по ViSQOL там не подтверждено прослушиванием.

Фишка из статьи. Частоту среза действительно не нужно сообщать модели: один многоскоростной предиктор почти совпадает с четырьмя отдельными, а обучаемый эмбеддинг частоты не помогает. Зонд показывает, что сведения о полосе уже сосредоточены в первом уровне кодовой книги и почти отсутствуют глубже.

Как это читать: максимальная цена универсальности — 0,03 ViSQOL, а явная метка не возвращает этот разрыв. Это подтверждает, что пропускная полоса кодируется самим выбором токенов первого уровня.