Звуковые токены как ограниченный ресурс: распределение по предельной полезности

UniAdapt отказывается тратить одинаковое число уровней остаточного квантования на каждый кадр. Лёгкий управляющий модуль оценивает пользу следующего слоя токенов, а распределитель выдаёт переменную глубину под точный бюджет уже существующего замороженного кодека.

Метод. Для каждого кадра и слоя предсказывается предельное уменьшение акустической ошибки, независимо от целевого битрейта. Причинный первично-двойственный распределитель учитывает заголовки, карты глубины, служебные биты и заполнение байтов; защитное правило не позволяет превысить бюджет ни на одном префиксе. Отдельная семантическая головка может оптимизировать признаки HuBERT в непотоковом режиме.

Результаты. При распределении по целой записи Log-STFT уменьшается на 3,34-4,39% для речи и на 1,07-1,77% для музыки и звуков среды без увеличения размера. В причинном режиме улучшены три из четырёх скоростей, нарушений бюджета нет в 800 проверках, а RTF равен 0,491-0,655. В MUSHRA с 20 слушателями речь получает значимый прирост 3,52 пункта.

Ограничения. На глубине D=3 потоковый вариант ухудшает Log-STFT на 0,55%. Стартовая задержка при блоках 500 мс составляет 735,9-745,2 мс, а упаковка контейнера не включена в измерение времени. На музыке и звуках среды субъективный выигрыш статистически не подтверждён.

Фишка из статьи. Авторы сравнивают потоковый распределитель с непотоковым оракулом и показывают, где остаётся резерв. Замена предсказанной полезности на истинную внутри того же распределителя помогает мало; основная потеря связана с самим причинным алгоритмом распределения.

Как это читать: почти весь разрыв до -4,675% не устраняется идеальной оценкой полезности. Значит, следующий шаг должен улучшать причинное распределение и работу с ограничениями, а не только предсказатель важности токенов.