AudioCodex: каузальный аудиоавтокодировщик с непрерывным скрытым представлением
AudioCodex сжимает стереозвук до редкой последовательности непрерывных векторов и восстанавливает его каузально. Это представление для генеративных моделей, а не готовый транспортный кодек: квантование, энтропийное кодирование и битовый поток здесь не заданы. Главный результат показывает конфликт между точностью реконструкции и удобством скрытого пространства для последующей генерации.
Метод. Каузальная сеть обрабатывает логарифм модуля STFT с окном 2048 и шагом 1024. Частотный Transformer не смешивает будущие временные позиции; скрытые векторы нормируются на сферу, обучение включает ограниченный шум и согласование с предварительно обученными акустическими признаками. Одношаговый MeanFlow восстанавливает модуль, отдельная состязательно обученная сеть — фазу. Рассмотрены размерности 128, 256 и 512 при примерно 10 кадрах/с для 44,1 кГц и 12 для 48 кГц. Модульная часть содержит около 150 млн параметров, фазовая — ещё 70 млн.
Результаты. Для размерности 256 итоговые rFAD и gFAD равны 0,593 и 4,168. При 512 rFAD улучшается до 0,544, но gFAD ухудшается до 6,259. На A100 декодирование одного скрытого кадра занимает 41,38 мс и идёт в 2,06 раза быстрее воспроизведения; весь десятисекундный файл декодируется за 87,64 мс, в 114,1 раза быстрее. В таблице авторов столбец RTF фактически выражает кратность скорости, а не обычное отношение времени вычислений к длительности.
Ограничения. gFAD измерена через небольшую авторегрессионную модель на генерациях около 1,5 с и не характеризует длинную музыкальную форму. Часть некаузальных баз лучше по реконструкции. Скорость целого файла нельзя выдавать за потоковую: накопление кадра и ввод-вывод добавляются к вычислениям. Из непрерывной размерности и частоты кадров нельзя получить битрейт без определения точности и способа кодирования; расход памяти готового приложения также не установлен.
Фишка из статьи. Таблица 2 демонстрирует, что более вместительный скрытый вектор не всегда лучше для генератора. Все приведённые расстояния меньше при лучшем результате; gFAD относится к одинаковому небольшому последующему генератору.
| Размерность | rFAD реконструкции | gFAD генерации | Ошибка STFT |
|---|---|---|---|
| 128 | 0,773 | 3,696 | 0,106 |
| 256 | 0,593 | 4,168 | 0,098 |
| 512 | 0,544 | 6,259 | 0,092 |
Как это читать: дополнительная ёмкость помогает восстановить известную запись, но усложняет распределение, которое предстоит выучить языковой модели. Поэтому выбирать аудиоавтокодировщик только по реконструкции рискованно. Это результат конкретного короткого генеративного теста, а не универсальный закон о вреде больших скрытых пространств.
Источник. Оригинальное название: AudioCodex: Streaming Autoencoders for Live Audio. arXiv:2611.12375; полный текст PDF.