Аудиопредставления Музыкальный поиск Разделение факторов
arXiv cs.SD

Разделение музыкальных свойств в представлениях замороженных аудиомоделей для поиска похожих записей

ArXiv:2611.14415

Работа проверяет, можно ли превратить универсальное сходство музыки в управляемое сходство по жанру, инструментам или настроению без переобучения большого кодировщика. Важен отрицательный результат: обучать только маски координат обычно недостаточно, а улучшение разделения факторов часто связано с подавлением ненужных свойств, не с появлением новой информации.

Метод. Замороженные CLAP, MERT и MuQ извлекают признаки из 10-секундных кусков; временная последовательность сжимается до 128 участков и объединяется усреднением либо вниманием. Затем сравниваются тождественное отображение, один обучаемый слой и MLP. Маски по трём свойствам либо обучаются, либо фиксированно делят координаты на три непересекающиеся части. Оптимизируются триплетная ошибка, разреженность масок, их ортогональность и норма представления. Обучение на MTG-Jamendo с разделением по исполнителям, внешний тест MagnaTagATune, пять запусков каждой конфигурации.

Результаты. Для MERT средняя точность триплетного сравнения на Jamendo растёт с 58,1% до 68,6% у MLP с усреднением и фиксированными масками; на внешнем MTT с 60,3% до 70,3%. У CLAP та же конфигурация даёт 72,7% и 76,9% против 69,3% и 74,8% исходно. Обучение масок без адаптера у MERT оставляет 57,8% и 60,2%. Выбор внимания или обучаемой маски не даёт последовательного преимущества на всех моделях.

Ограничения. Метрики основаны на теговых триплетах, а не на человеческом суждении о музыкальном сходстве. Настроение размечено шумно, жанры и инструменты коррелируют. Слово «разделение» не означает независимые причинные факторы или устранение всех взаимных сведений. Вычислительная стоимость извлечения признаков остаётся стоимостью исходного кодировщика; задержка и память полного поиска не оценены.

Фишка из статьи. Таблица 3 на с. 4 позволяет увидеть, чем обеспечивается избирательность. Для CLAP на Jamendo маска инструмента лишь немного улучшает целевую задачу, зато снижает точность по другим свойствам; маска настроения действует ещё сильнее.

Представление CLAPИнструменты, %Жанр, %Настроение, %
Адаптер без маски73,275,566,4
Маска инструментов74,171,363,7
Маска настроения65,669,667,2

Как это читать: Селективность достигается преимущественно удалением помех: целевой выигрыш меньше потери по посторонним критериям. Это удобно для управляемого поиска, но не следует выдавать за универсальное улучшение представления. При таком анализе необходимо одновременно показывать целевой и нецелевые столбцы, иначе эффект маски выглядит более сильным, чем он есть.

Источник. Оригинальное название: Exploring Post-Hoc Disentanglement of Audio Foundation Models for Music Similarity. arXiv:2611.14415; полный текст PDF.

Оригинальная статья на arXiv