MQAScore: поэлементная проверка соответствия музыки текстовому описанию

Одна близость музыкальной записи и длинного описания не показывает, какой именно атрибут потерян: голос, инструмент, жанр или настроение. MQAScore разбивает описание на отдельные понятия и спрашивает аудиоязыковую модель о каждом. Работа оценивает прежде всего надёжность такого измерителя, а не объявляет автоматически измеренным качество генерации музыки.

Метод. Понятия группируются по пяти направлениям: жанр, инструменты, настроение, вокал и назначение. Оценка равна нормированной вероятности Yes против No без генерации свободного ответа; по направлению берётся среднее, а неописанное направление считается отсутствующим, не нулевым. Для жанров и инструментов отрицательные примеры берутся из разметки присутствия. Для остальных направлений языковая модель предлагает далёкую замену и близкую контрольную замену, чтобы различать смысловую чувствительность и реакцию на смену формулировки.

Результаты. С Qwen3-Omni поэлементный MQAScore достигает AUC 0,983 для жанров, 0,915 для инструментов, 0,943 для настроения и 0,966 для вокала. На небольшом экспертном наборе согласие по настроению равно 86,4% против 54,5% у CLAP; по вокалу 92,5% против 80,0%. Разметку выполняли 11 музыкально подготовленных участников, после исключения неоднозначных случаев осталось 147 пар одного типа и 119 другого, согласие Криппендорфа α=0,71.

Ограничения. Отсутствие жанра в одноклассовом GTZAN не обязательно означает реальную невозможность второго жанра. Синтетические отрицательные понятия и их синонимы могут быть неверными; назначение музыки часто нельзя непосредственно услышать. Нормированная вероятность ответа не является калиброванной вероятностью истинности. Работа ограничена признаками всего отрывка, не проверяет временные отношения и гармоническую структуру, а экспертная выборка мала.

Фишка из статьи. Отношение чувствительности к противоречию и к близкой замене может обмануть само. В таблице 1 для настроения Qwen3-Omni большая величина отношения у оценки всего описания сопровождается худшим различением.

Как это читать: при длинном описании замена одного близкого понятия почти не двигает общий балл, уменьшая знаменатель и раздувая отношение. Поэтому нельзя оптимизировать этот диагностический коэффициент отдельно от точности различения. Поэлементная проверка выигрывает не максимальным отношением, а тем, что каждое упомянутое свойство получает собственный аудиозависимый вопрос и проверяемый ответ.

Источник. Оригинальное название: MQAScore: Fine-Grained Text-Music Alignment Evaluation via Large Audio Language Model. arXiv:2610.31083; полный текст PDF.