SAC-Bench: конфликт слов и акустических свидетельств внутри одной аудиозаписи

Если голос утверждает одно, а окружающий звук свидетельствует о другом, аудиоязыковая модель должна различить рассказ и наблюдение. SAC-Bench создаёт такой конфликт внутри одного сигнала, а не между отдельными текстовым и аудиовходами. Работа полезна контролями, отделяющими собственно распознавание события от доверия произнесённым словам и от физического маскирования.

Метод. На 16 340 исходных записях FSD50K синтезируются совместимые и противоречащие описания с контролем уровня, времени и пространственного положения. Семь задач охватывают наличие и тип события, время, порядок, положение и движение. В наборе 616 031 уникальный клип, но исходных акустических наблюдений существенно меньше; варианты одной записи статистически зависимы. В задаче порядка голос звучит уже после обоих событий, исключая одновременное маскирование. Пять моделей проверяются на непроcтранственных задачах, пространственная ветвь — только на Spatial-Omni.

Результаты. Для Qwen3-Omni точность определения типа события равна 84,6% без речи, 83,0% при согласованном описании и 39,8% при конфликте. У Step-Audio-2-mini конфликт снижает результат относительно согласованного условия на 46,5 пункта. В порядке событий Qwen3 сохраняет 58,4% против 99,7% при согласии, хотя речь и события не перекрываются. Следовательно, маскирование не объясняет весь эффект, но эксперимент не устанавливает единственный внутренний механизм ошибки.

Ограничения. Речь синтетическая, семантическое покрытие зависит от классов и разметки FSD50K, пространственная проверка ограничена одной моделью. Сбои выполнения и пропущенные предсказания исключаются из знаменателя, что следует учитывать при сравнении эксплуатационной надёжности. Часть разностей между согласованным и конфликтным условиями — агрегаты условий, а не чистые парные эффекты. Рост точности после подсказки также не доказывает устранение причин ошибки.

Фишка из статьи. Особенно показателен отрицательный результат таблицы 5: инструкция критически проверять произнесённое утверждение может резко уменьшить согласие с ним, не улучшив акустический ответ. Для MOSS-Audio в задаче наличия события это сопровождается предпочтением отрицаний.

Как это читать: падение SFR с 67,5% до 24,1% само по себе выглядит успехом, но средняя точность не растёт: модель начинает почти всегда отрицать. У этих показателей разные наборы допустимых вопросов, поэтому они не обязаны дополнять друг друга до 100%. Для контроля галлюцинаций нужно одновременно учитывать правильность, склонность следовать подсказке и ошибки обоих классов.

Источник. Оригинальное название: One Waveform, Two Stories: Benchmarking Speech-Acoustic Conflict in Audio-Language Models. arXiv:2611.00325; полный текст PDF.