Разделение музыкальных свойств в представлениях замороженных аудиомоделей для поиска похожих записей
Работа проверяет, можно ли превратить универсальное сходство музыки в управляемое сходство по жанру, инструментам или настроению без переобучения большого кодировщика. Важен отрицательный результат: обучать только маски координат обычно недостаточно, а улучшение разделения факторов часто связано с подавлением ненужных свойств, не с появлением новой информации.
Метод. Замороженные CLAP, MERT и MuQ извлекают признаки из 10-секундных кусков; временная последовательность сжимается до 128 участков и объединяется усреднением либо вниманием. Затем сравниваются тождественное отображение, один обучаемый слой и MLP. Маски по трём свойствам либо обучаются, либо фиксированно делят координаты на три непересекающиеся части. Оптимизируются триплетная ошибка, разреженность масок, их ортогональность и норма представления. Обучение на MTG-Jamendo с разделением по исполнителям, внешний тест MagnaTagATune, пять запусков каждой конфигурации.
Результаты. Для MERT средняя точность триплетного сравнения на Jamendo растёт с 58,1% до 68,6% у MLP с усреднением и фиксированными масками; на внешнем MTT с 60,3% до 70,3%. У CLAP та же конфигурация даёт 72,7% и 76,9% против 69,3% и 74,8% исходно. Обучение масок без адаптера у MERT оставляет 57,8% и 60,2%. Выбор внимания или обучаемой маски не даёт последовательного преимущества на всех моделях.
Ограничения. Метрики основаны на теговых триплетах, а не на человеческом суждении о музыкальном сходстве. Настроение размечено шумно, жанры и инструменты коррелируют. Слово «разделение» не означает независимые причинные факторы или устранение всех взаимных сведений. Вычислительная стоимость извлечения признаков остаётся стоимостью исходного кодировщика; задержка и память полного поиска не оценены.
Фишка из статьи. Таблица 3 на с. 4 позволяет увидеть, чем обеспечивается избирательность. Для CLAP на Jamendo маска инструмента лишь немного улучшает целевую задачу, зато снижает точность по другим свойствам; маска настроения действует ещё сильнее.
| Представление CLAP | Инструменты, % | Жанр, % | Настроение, % |
|---|---|---|---|
| Адаптер без маски | 73,2 | 75,5 | 66,4 |
| Маска инструментов | 74,1 | 71,3 | 63,7 |
| Маска настроения | 65,6 | 69,6 | 67,2 |
Как это читать: Селективность достигается преимущественно удалением помех: целевой выигрыш меньше потери по посторонним критериям. Это удобно для управляемого поиска, но не следует выдавать за универсальное улучшение представления. При таком анализе необходимо одновременно показывать целевой и нецелевые столбцы, иначе эффект маски выглядит более сильным, чем он есть.
Источник. Оригинальное название: Exploring Post-Hoc Disentanglement of Audio Foundation Models for Music Similarity. arXiv:2611.14415; полный текст PDF.