MixCards: оценка структурированных описаний звуковых сцен с несколькими источниками

Правдоподобная подпись к записи может забыть один источник и приписать его свойства другому. MixCardBench заменяет одну общую фразу карточками речи, музыки и звуковых событий, отдельно оценивая обнаружение, границы и описание свойств. Такая декомпозиция позволяет отличить пропуск источника от ошибки уже найденного объекта и полезна для проверки аудиоязыковых моделей.

Метод. 4884 сцены с числом источников до девяти строятся по структуре реальных AudioSet-SL: заменяются исходные дорожки, но сохраняются сочетания, времена и относительная громкость. Речь пересинтезируется с заменой тембра, музыка подбирается по сходству, эффекты берутся из очищенных библиотек. Эталонные карточки содержат измеренные признаки, метаданные и автоматически размеченные свойства. Первая стадия оценивает события с секундным допуском границ и F1 по окнам 100 мс. Вторая использует отдельные критерии чисел, порядковых признаков, тегов и текста, с Llama-3-8B как основным текстовым судьёй.

Результаты. Шесть открытых аудиоязыковых моделей достигают лишь около 60% среднего балла полей у лучшей системы. Рост числа одновременных источников прежде всего снижает полноту обнаружения, тогда как точность и качество описания уже найденных источников меняются слабее. Музыка локализуется легче речи и эффектов. В проверке на 774 сохранённых человеком карточках Qwen3-Omni после исправлений имеет баллы 0,645 для речи, 0,575 для музыки и 0,588 для эффектов. Это нормированные оценки полей, не WER, MOS или вероятность безошибочно описать всю сцену.

Ограничения. Эталон частично создают модели семейства Qwen, что может смещать сравнение в их пользу; другой судья уменьшает, но не устраняет эту зависимость. Синтез сцены и перенос атрибутов из изолированных дорожек способны создавать артефакты и несовпадение с восприятием смеси. Речь очищена преимущественно до английских одиночных голосов, культурные и музыкальные категории неравномерны. Карточки не описывают изменение свойств во времени и несколько разных экземпляров одного класса; десятисекундные аннотации не проверяют длительное сопровождение источника. Это диагностический набор, не полная модель реального слухового понимания.

Фишка из статьи. Человеческая проверка показывает, почему устойчивость общего рейтинга не равна безошибочности эталона. Из 839 проверенных карточек 65, или 7,7%, вообще исключили, преимущественно из-за ошибок синтеза. Для оставшихся сравнение основного лидера выглядит так.

Как это читать: рейтинги шести моделей остаются теми же, а изменение среднего балла не превышает 0,020, хотя правок много. Агрегат устойчив как инструмент сравнения, но отдельные поля всё ещё требуют осторожности; чаще всего исправляли именно воспринимаемое качество звука. Для поиска галлюцинаций полезно смотреть пропуски, ложные события и неверную привязку свойств отдельно, а не делать вывод о надёжности по одному общему баллу.

Источник. Оригинальное название: MixCards: Evaluating Structured Descriptions of Multi-Source Sound Scenes. arXiv:2610.38276; полный текст PDF.