Latent Terrain: управление аудиоавтоэнкодерами через непрерывные траектории и Fourier-признаки

Latent Terrain превращает двумерный контроллер в навигацию по звуковому пространству аудиоавтоэнкодера. Вместо назначения отдельным точкам отдельных тембров авторы связывают нарисованные траектории с целыми латентными последовательностями записей. Обычная MLP сглаживает их быстрые изменения; Fourier-признаки помогают сохранить детали, необходимые для динамичного звука.

Метод. Координаты управляющего пространства проходят через синусы и косинусы случайных проекций, затем небольшую сеть, предсказывающую латентный вектор. Пользователь задаёт пары управляющих и аудиолатентных траекторий, обучает отображение и синтезирует звук одним декодером. Проверены RAVE, Music2Latent, Stable Audio Open и RVQ-кодек FlowDec NDAC-25. У Music2Latent и SAO по 64 непрерывных измерения, у выбранного FlowDec 128-мерное представление и 25-Гц сетка. Указанные в таблице коэффициенты 2048/4096/1764 означают отношение частоты отсчётов к частоте латентов, не степень сжатия битового потока.

Результаты. На барабанных фрагментах точность восстановления латентной траектории SAO повышается с PSNR 21,697 до 32,069 dB после добавления Fourier-признаков. Соответствующий FAD звука снижается с 28,163 до 2,387 при ориентире 2,324 для простого исходного кодирования-декодирования. Для RAVE латентный PSNR растёт с 27,516 до 41,369 dB. Дополнительно представлены четыре музыкальных проекта, созданных совместно с авторами интерфейсов; это качественный портфель применения, не статистический опыт превосходства интерфейса над конкурентами.

Ограничения. Сеть учится воспроизводить назначенные траектории; неизвестные области пространства могут давать шум и непредсказуемый звук. Ширина распределения Fourier-признаков регулирует компромисс недообучения и переобучения, универсальной настройки нет. На GPU M4 Max с 48 GB RAM график даёт примерно RTF 0,2–0,7 при буфере 2048 отсчётов и 0,03–0,06 при 32768, в зависимости от декодера; это приближённое чтение кривых, не табличные числа. Большой буфер улучшает RTF, но не уменьшает время ожидания его заполнения. Полная алгоритмическая задержка не измерена. Max-реализации доступны не для всех декодеров. Пакет не переобучает базовые кодеки и не устанавливает новое соотношение битрейт–качество.

Фишка из статьи. Таблица 2b отделяет ошибку отображения координат от ошибки самого декодера. Ниже FAD для барабанного набора, меньше лучше; сравнивать нужно прежде всего столбцы внутри одного автоэнкодера.

Как это читать: малая ошибка координатной регрессии не гарантирована одной низкой размерностью управления: гладкая MLP теряет быстрое движение даже в 64-мерном VAE. Fourier-признаки почти возвращают качество исходного декодера, особенно у SAO, но не устраняют его собственные ограничения. Это представление управляющих координат, не новый адаптивный частотно-временной анализ звуковой волны; смешивать его с synchrosqueezing или адаптивным STFT было бы неверно.

Источник. Оригинальное название: Latent Terrain: Adapting Neural Audio Autoencoders as Design Materials in NIME. arXiv:2611.07210; полный текст PDF; DOI: 10.5281/zenodo.20784133