Восстановление аудио Диффузия Музыкальные представления
arXiv cs.SD

SimDPS: восстановление музыкальных пропусков с поиском похожих фрагментов

ArXiv:2611.11522

SimDPS заполняет длинный пропуск в музыке, используя похожие фрагменты оставшейся части той же композиции. Найденный материал не копируется буквально, а направляет диффузионное восстановление. Это позволяет совместить повторяемость музыкальной структуры с генеративной подгонкой границ и избежать характерного шва простой вставки.

Метод. Метод не требует дообучения базовой генеративной модели. В основном опыте используются автокодировщик и диффузионная сеть ACE-Step 1.5: непрерывное представление имеет 64 канала и частоту 25 кадров/с. Поиск выполняется по контексту вокруг пропуска; Solo использует одного кандидата, Multi объединяет 15 лучших с согласованием спектральных признаков. Наблюдаемая часть и найденная подсказка входят в разные слагаемые восстановления. Для скрытого представления фильтрация на 1,6 Гц относится к изменениям во времени вектора, а не к полосе слышимого звука.

Результаты. На 500 пятнадцатисекундных фрагментах MUSDB18-HQ с пропуском 5 с SimDPS-Multi получает расстояние MFCC 97,8 против 105,6 у обычного DPS и 112,1 у вставки найденного фрагмента. Ошибка границы уменьшается с 1,98 до 1,70; сходство chroma повышается с 0,928 до 0,942. В прослушивании участвовали 23 добровольца и всего шесть музыкальных примеров: преимущество зависит от удачности поиска, на одном из жанровых примеров Multi остаётся неудачным.

Ограничения. Восстановление использует известное будущее и оставшуюся композицию, поэтому не является потоковым. Основной генеративный процесс содержит 100 шагов; вычислительная цена существенно отличается от простой вставки. Автокодировщик здесь не новый самостоятельный кодек, битрейт не оценивается. Правдоподобный фрагмент не обязан совпасть с исторически правильной партией, а маленький субъективный тест не устанавливает перенос на любые жанры.

Фишка из статьи. Таблица 1 показывает ловушку оценки только по общему семантическому сходству. Простая вставка уже имеет высокий CLAP, но заметно хуже соединяется с соседними участками.

СпособОшибка границыРасстояние MusicFMCLAP
Вставка найденного фрагмента2,8417,130,842
DPS без поиска1,9815,190,823
SimDPS-Solo1,7214,460,841
SimDPS-Multi1,7014,420,843

Как это читать: CLAP почти не различает копирование и Multi, тогда как ошибка на границе отличается существенно. Для реставрации важно отдельно измерять тембр, гармоническое содержание и согласование стыка. Низкая ошибка стыка тоже не доказывает точного восстановления исходной музыки: это оценка непрерывности и контекстной правдоподобности.

Источник. Оригинальное название: Music Inpainting With Similarity-Guided Latent Diffusion. arXiv:2611.11522; полный текст PDF.

Оригинальная статья на arXiv