SimDPS: восстановление музыкальных пропусков с поиском похожих фрагментов
SimDPS заполняет длинный пропуск в музыке, используя похожие фрагменты оставшейся части той же композиции. Найденный материал не копируется буквально, а направляет диффузионное восстановление. Это позволяет совместить повторяемость музыкальной структуры с генеративной подгонкой границ и избежать характерного шва простой вставки.
Метод. Метод не требует дообучения базовой генеративной модели. В основном опыте используются автокодировщик и диффузионная сеть ACE-Step 1.5: непрерывное представление имеет 64 канала и частоту 25 кадров/с. Поиск выполняется по контексту вокруг пропуска; Solo использует одного кандидата, Multi объединяет 15 лучших с согласованием спектральных признаков. Наблюдаемая часть и найденная подсказка входят в разные слагаемые восстановления. Для скрытого представления фильтрация на 1,6 Гц относится к изменениям во времени вектора, а не к полосе слышимого звука.
Результаты. На 500 пятнадцатисекундных фрагментах MUSDB18-HQ с пропуском 5 с SimDPS-Multi получает расстояние MFCC 97,8 против 105,6 у обычного DPS и 112,1 у вставки найденного фрагмента. Ошибка границы уменьшается с 1,98 до 1,70; сходство chroma повышается с 0,928 до 0,942. В прослушивании участвовали 23 добровольца и всего шесть музыкальных примеров: преимущество зависит от удачности поиска, на одном из жанровых примеров Multi остаётся неудачным.
Ограничения. Восстановление использует известное будущее и оставшуюся композицию, поэтому не является потоковым. Основной генеративный процесс содержит 100 шагов; вычислительная цена существенно отличается от простой вставки. Автокодировщик здесь не новый самостоятельный кодек, битрейт не оценивается. Правдоподобный фрагмент не обязан совпасть с исторически правильной партией, а маленький субъективный тест не устанавливает перенос на любые жанры.
Фишка из статьи. Таблица 1 показывает ловушку оценки только по общему семантическому сходству. Простая вставка уже имеет высокий CLAP, но заметно хуже соединяется с соседними участками.
| Способ | Ошибка границы | Расстояние MusicFM | CLAP |
|---|---|---|---|
| Вставка найденного фрагмента | 2,84 | 17,13 | 0,842 |
| DPS без поиска | 1,98 | 15,19 | 0,823 |
| SimDPS-Solo | 1,72 | 14,46 | 0,841 |
| SimDPS-Multi | 1,70 | 14,42 | 0,843 |
Как это читать: CLAP почти не различает копирование и Multi, тогда как ошибка на границе отличается существенно. Для реставрации важно отдельно измерять тембр, гармоническое содержание и согласование стыка. Низкая ошибка стыка тоже не доказывает точного восстановления исходной музыки: это оценка непрерывности и контекстной правдоподобности.
Источник. Оригинальное название: Music Inpainting With Similarity-Guided Latent Diffusion. arXiv:2611.11522; полный текст PDF.