Аудиоавтокодировщики Непрерывные представления Потоковая генерация
arXiv cs.SD

AudioCodex: каузальный аудиоавтокодировщик с непрерывным скрытым представлением

ArXiv:2611.12375

AudioCodex сжимает стереозвук до редкой последовательности непрерывных векторов и восстанавливает его каузально. Это представление для генеративных моделей, а не готовый транспортный кодек: квантование, энтропийное кодирование и битовый поток здесь не заданы. Главный результат показывает конфликт между точностью реконструкции и удобством скрытого пространства для последующей генерации.

Метод. Каузальная сеть обрабатывает логарифм модуля STFT с окном 2048 и шагом 1024. Частотный Transformer не смешивает будущие временные позиции; скрытые векторы нормируются на сферу, обучение включает ограниченный шум и согласование с предварительно обученными акустическими признаками. Одношаговый MeanFlow восстанавливает модуль, отдельная состязательно обученная сеть — фазу. Рассмотрены размерности 128, 256 и 512 при примерно 10 кадрах/с для 44,1 кГц и 12 для 48 кГц. Модульная часть содержит около 150 млн параметров, фазовая — ещё 70 млн.

Результаты. Для размерности 256 итоговые rFAD и gFAD равны 0,593 и 4,168. При 512 rFAD улучшается до 0,544, но gFAD ухудшается до 6,259. На A100 декодирование одного скрытого кадра занимает 41,38 мс и идёт в 2,06 раза быстрее воспроизведения; весь десятисекундный файл декодируется за 87,64 мс, в 114,1 раза быстрее. В таблице авторов столбец RTF фактически выражает кратность скорости, а не обычное отношение времени вычислений к длительности.

Ограничения. gFAD измерена через небольшую авторегрессионную модель на генерациях около 1,5 с и не характеризует длинную музыкальную форму. Часть некаузальных баз лучше по реконструкции. Скорость целого файла нельзя выдавать за потоковую: накопление кадра и ввод-вывод добавляются к вычислениям. Из непрерывной размерности и частоты кадров нельзя получить битрейт без определения точности и способа кодирования; расход памяти готового приложения также не установлен.

Фишка из статьи. Таблица 2 демонстрирует, что более вместительный скрытый вектор не всегда лучше для генератора. Все приведённые расстояния меньше при лучшем результате; gFAD относится к одинаковому небольшому последующему генератору.

РазмерностьrFAD реконструкцииgFAD генерацииОшибка STFT
1280,7733,6960,106
2560,5934,1680,098
5120,5446,2590,092

Как это читать: дополнительная ёмкость помогает восстановить известную запись, но усложняет распределение, которое предстоит выучить языковой модели. Поэтому выбирать аудиоавтокодировщик только по реконструкции рискованно. Это результат конкретного короткого генеративного теста, а не универсальный закон о вреде больших скрытых пространств.

Источник. Оригинальное название: AudioCodex: Streaming Autoencoders for Live Audio. arXiv:2611.12375; полный текст PDF.

Оригинальная статья на arXiv