TAPE: обучение общему представлению аудиоэффектов с управляемой DSP-цепочкой

TAPE пытается извлечь обработку из одной уже обработанной записи и перенести её на другой сухой сигнал. Вместо непрозрачного генератора декодер выдаёт параметры эквалайзера, компрессора, нелинейности и реверберации. Это связь обучаемого представления с редактируемыми операторами DSP и практическая проверка их причинной реализации.

Метод. Conformer по мел-признакам 48 кГц строит вектор из 256 координат и учится различать 68 процессоров, но не их конкретные настройки. Затем к замороженному кодировщику обучается цепочка дифференцируемых эффектов с небольшим остаточным временным модулем; последующее состязательное обучение улучшает восприятие. Физические управляющие величины и доли смешивания доступны пользователю. При потоковом переносе спектральный эквалайзер заменяется пятью биквадратными секциями, нуль-фазовый фильтр причинным, удаление среднего DC-блокиратором. Это функциональная аппроксимация исходной цепочки, не побитовый перенос.

Результаты. На 60 отложенных парах многомасштабная STFT L1 полного варианта составляет 1,120 против 2,335 у сухого входа. Поиск по упрощённой цепочке, приближённой к ST-ITO, даёт 2,91 и тратит 143 с на клип, примерно в 275 раз дольше TAPE. Сравнение не является запуском исходного ST-ITO с его полным набором плагинов. В причинной C++-цепочке для блока 128 отсчётов среднее время 1,51 мс при бюджете 2,67 мс; среди 112500 моделируемых вызовов нет опозданий. Подготовка параметров по одному эталону дополнительно занимает 1,43 с.

Ограничения. Только моно, 48 кГц, фиксированный набор процессоров и пятисекундные окна. Модуляция и медленные колебания приближаются плохо: у остаточной сети рецептивное поле 3,8 мс. Кодировщик не доказанно отделяет настройку эффекта от содержимого записи. Малые слушательские панели по 6–9 человек расходятся с объективными расстояниями; нет оценки слышимости различия потоковой и исходной цепочки. Проверка вызовов выполнена офлайн, с выделением памяти внутри callback и без изоляции нагрузки, поэтому строгая гарантия реального времени отсутствует.

Фишка из статьи. Таблица 3 показывает, почему среднего ускорения недостаточно для музыкального аудиотракта. В статье RTF определён как длительность аудио, делённая на время вычислений: здесь больше единицы означает быстрее реального времени, в отличие от распространённой обратной конвенции.

Как это читать: 64 отсчёта в среднем обрабатываются в 1,50 раза быстрее аудио, но иногда всё равно срывают срок. Увеличение до 128 убирает наблюдённые срывы ценой буферизации; задержки интерфейса и фазовые задержки фильтров сюда не включены. Состояние между блоками обязательно: его сброс каждые 256 отсчётов увеличивает STFT L1 примерно на 1,55. Именно хвосты времени и корректность состояния определяют пригодность такого обученного DSP для живого использования.

Источник. Оригинальное название: TAPE: Learning General Audio Effect Representations. arXiv:2610.40759; полный текст PDF.