Что слушают аудиоязыковые судьи при оценке сгенерированной музыки? Четыре диагностических теста

Высокая корреляция аудиоязыковой модели с экспертами ещё не означает, что автоматический судья слушает качество музыки. Авторы вводят четыре проверки: убрать звук, подменить клип при том же запросе, поменять порядок пары и переформулировать инструкцию. Они раскрывают разные сокращённые пути — от угадывания по тексту до почти полного выбора одного слота.

Метод. Пять открытых моделей оценивают все 2748 клипов MusicEval; часть тестов повторяется на SongEval. Контрольный уровень без аудио вычисляется из самих экспертных оценок, поэтому модель сравнивается не с нулём, а с тем, сколько уже предсказывает текст запроса. Интервалы строятся парным бутстрэпом, различия корректируются методом Холма.

Результаты. Без звука корреляция с экспертным качеством составляет лишь 0,01–0,05, не превосходя текстовый предел 0,08; для соответствия запросу все модели ниже предела 0,19. При подмене клипа все следуют услышанному звуку в оценке соответствия, но только AudioFlamingo3 и Qwen3-Omni — в оценке качества. Формулировка меняет корреляцию MusicFlamingo с качеством от 0,00 до 0,25, Qwen3-Omni — от 0,13 до 0,31.

Ограничения. Проверены открытые модели, помещающиеся на одной станции; крупнейшая использует стороннее FP8-квантование. Основные клипы не длиннее 30 секунд и могли встречаться при обучении моделей. На SongEval доступны только две из четырёх проверок, поэтому перенос рейтинга между наборами остаётся ограниченным.

Фишка из статьи. Четыре меньших судьи в парном сравнении часто выбирают позицию, а не лучший клип.

Как это читать: идеальный инвариантный судья при перестановке должен выбрать другой слот, то есть показатель должен быть близок к нулю. Значение 0,99 у MusicFlamingo означает почти постоянный выбор одной позиции независимо от содержания.

Источник: arXiv:2610.13247. Оригинальное название: What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings.