FUSEMOS: оценка качества сгенерированной музыки с объединением кодировщиков и обучением относительным оценкам

FUSEMOS предсказывает две разные оценки музыки по текстовому запросу: общее впечатление и соответствие описанию. CLAP отвечает за связь звука с текстом, MERT добавляет собственно музыкальные признаки. Главная методическая мысль состоит в разделении двух целей обучения: правильно упорядочить примеры недостаточно, если абсолютные оценки при этом уходят с человеческой шкалы.

Метод. CLAP дообучается, музыкальный MERT заморожен. Для общего впечатления каждая ветвь строит оценку по аудио, для соответствия тексту CLAP использует косинусное сходство своих согласованных представлений, а MERT отдельную сеть по музыкальным признакам и текстовому вектору CLAP. Складываются не сырые разнотипные признаки, а уже полученные оценки. Функция потерь объединяет абсолютную ошибку, игнорируемую ниже порога 0,3, и ошибку разностей оценок пар с допуском 0,2. Вторая часть не просто проверяет порядок, а приближает величину попарных различий.

Результаты. MusicEval содержит 2748 музыкальных фрагментов от 31 модели по 384 запросам; используется официальное разбиение. Для общего впечатления ошибка U-MSE уменьшается с 0,560 у CLAP-ориентира до 0,260, корреляция Спирмена отдельных фрагментов с 0,637 до 0,811. Для соответствия тексту U-MSE меняется с 0,568 до 0,392, U-SRCC с 0,495 до 0,644. После усреднения по системам S-SRCC достигает 0,977 и 0,940. Последние числа не означают столь же точного выбора между двумя отдельными фрагментами.

Ограничения. Проверен один экспертно размеченный набор. Не показана отдельная надёжность на новых генераторах, новых стилях и языках вне официального разбиения, нет доверительных интервалов основных выигрышей. MERT и CLAP наследуют ограничения предобучения, а MOS включает субъективную вариативность. Оценка не заменяет прослушивание и не предназначена для речи без отдельной проверки. Вывод не измерен по RTF, задержке или памяти; обучение на H800 само по себе ничего не говорит о стоимости массовой оценки.

Фишка из статьи. Раздел 3.3 содержит редкий полезный отрицательный результат: одна попарная функция сохраняет хороший порядок, но портит калибровку оценки. Корреляции ниже относятся к уровню систем; значения для отдельных функций взяты из текста анализа, для полной системы из таблицы 1.

Как это читать: попарные разности нечувствительны к общему сдвигу всех предсказаний, поэтому хороший ранг совместим с неверной абсолютной шкалой. Текст не уточняет уровень агрегации MSE 7,887 и 12,50, и считать точный множитель относительно S-MSE полной системы было бы некорректно. Само расхождение порядка и калибровки, однако, видно без такого пересчёта: для автоматического отбора и для отчётного MOS нужны разные проверки.

Источник. Оригинальное название: FUSEMOS: Perceptual Evaluation of Text-to-Music Generation with Dual-Encoder Fusion and Ranking-Aware Composite Loss. arXiv:2611.07562; полный текст PDF; DOI: 10.1109/ICASSP55912.2026.11461672