Нейросетевое предсказание коэффициентов MDCT для малозадержечного аудиокодирования
Работа сохраняет обычный тракт преобразующего аудиокодера и добавляет нейросеть только для предсказания следующего блока MDCT. Кодируются остатки предсказания, если это выгодно после квантования. Интерес здесь в сочетании короткого окна, психоакустического распределения битов и небольшой сети, а не в замене всего кодека нейросетевым автокодировщиком.
Метод. Свёрточный предиктор использует пять предыдущих восстановленных блоков. Кодировщик и декодировщик имеют одну и ту же квантованную историю, поэтому могут воспроизвести прогноз без передачи скрытого состояния. Один флаг на критическую полосу выбирает остаток либо исходные коэффициенты по предварительной оценке ошибки; затем смешанный блок квантуется повторно. Психоакустическая модель и распределение битов остаются в тракте. CNN содержит 0,13 млн параметров против 2,63 млн у сравниваемого MLP.
Результаты. На 70 записях EBU SQAM при 2 бит/отсчёт, окне 512 и частоте 44,1 кГц CNN даёт SNR 23,18 дБ и NMR −19,27 дБ; без предсказания это 18,86 и −15,56 дБ. Линейный NLMS достигает 21,35 и −18,19 дБ. В отдельном MUSHRA с 17 подготовленными слушателями при 2,5 бит/отсчёт выигрыш CNN составляет около 28 пунктов к короткооконной базе и 6 к длиннооконной. Это другой режим скорости, не субъективная проверка точки 2 бит/отсчёт.
Ограничения. Предсказание лучше помогает тональным и гармоническим сигналам; переходные процессы и шум иногда выигрывают меньше или ухудшаются. Выбор полос не даёт строгой гарантии после окончательного повторного квантования. Измеренный RTF декодера около 0,10 против 0,05 у базы не равен алгоритмической задержке и не доказывает совместимость с существующим стандартом.
Фишка из статьи. Сравнение короткого и длинного окон показывает инженерный смысл предиктора. Ниже базовые системы и короткооконная CNN; задержка относится к буферизации и банку фильтров, без вычислительной и транспортной составляющих.
| Конфигурация | Окно | Задержка, мс | SNR, дБ |
|---|---|---|---|
| Без предсказания | 512 | 11,6 | 18,86 |
| Без предсказания | 2048 | 46,4 | 21,93 |
| CNN, пять блоков истории | 512 | 11,6 | 23,18 |
Как это читать: предиктор позволяет короткому окну обойти длиннооконную базу по SNR без увеличения задержки банка фильтров. Цена перенесена в вычисления и обучение. Это не означает, что 11,6 мс уже являются полной задержкой готового устройства или что выигрыш одинаков на всех типах аудио.
Источник. Оригинальное название: Lightweight Neural Prediction for MDCT-Based Perceptual Audio Coding. arXiv:2611.10192; полный текст PDF.