За пределами сходства: разложение влияния обучающих записей в музыкальных генераторах

Метод оценки влияния данных может называть одну и ту же обучающую запись важнейшей почти для любого сгенерированного фрагмента. Тогда такой балл описывает скорее поведение всей модели, чем происхождение именно этого звука. Авторы разлагают влияние на глобальную, групповую и индивидуальную части и проверяют различие удалением данных с повторным обучением.

Метод. В матрице «обучающий пример × сгенерированный результат» сначала выделяется среднее влияние по всем результатам, затем среднее по группе похожих профилей влияния; остаток считается специфичным для отдельного результата. Разложение точное для стандартизованных оценок и не зависит от конкретного алгоритма TDA. Проверены MusicGen-S/L и InspireMusic-Base/1.5B, шесть методов влияния и варианты Trak. Модели дообучены на 30 тысячах десятисекундных сегментов из 10 тысяч треков MTG-Jamendo. Группы в основном строятся по профилям влияния, а не по заданным музыкальным жанрам.

Результаты. Глобальная и групповая компоненты выше случайного уровня во всех проверенных сочетаниях. Например, у GradDot доля глобальной компоненты равна 0,106 для MusicGen-S и 0,403 для InspireMusic-1.5B, при случайном ориентире около 0,002. В опытах удаления 10% обучающих сегментов высоко оценённые наборы изменяют логарифмическое правдоподобие сильнее случайных в соответствующей области действия. Это подтверждает содержательность уровней, но не устанавливает объективную денежную стоимость каждого трека.

Ограничения. Полный тест удаления проведён для GradDot и Trak, не для каждого метода и варианта. Исследуется дообучение, а не всё происхождение предобученной модели. Доли компонент зависят от нормировки, набора генераций и правила группировки; они не являются долями авторства и не измеряют вероятность копирования. Законодательные или компенсационные выводы из этих технических чисел напрямую не следуют. Даже удаление множества данных характеризует совместный эффект, а не изолированную причинность каждого сегмента.

Фишка из статьи. Таблица 2 показывает, насколько способ оценки меняет видимость общих зависимостей. Ниже MusicGen-S, 12 групп результатов; значения являются долями в разложении стандартизованных оценок, не процентами звукового содержания.

Как это читать: нормирование или перевзвешивание градиентов уменьшает общий компонент, но не убирает его полностью. Нельзя считать каждое высокое влияние свидетельством сходства с конкретной генерацией. Дополнительная проверка меняет критерий групп: у GradDot для MusicGen-S обновляется 55% списка 50 наиболее специфичных примеров, то есть и «индивидуальная» атрибуция зависит от выбранного контекста сравнения.

Источник. Оригинальное название: Functional Dependency beyond Similarity: Hierarchical Decomposition of Training Data Attribution in Music Generative Models. arXiv:2611.08839; полный текст PDF.