Имеет ли значение положение звука? Причинный аудит аудиопривязки в галлюцинациях больших аудиоязыковых моделей

Работа проверяет, действительно ли большие аудиоязыковые модели опираются на тот участок записи, где находится событие, или лишь реагируют на удаление любого звука. Причинное вмешательство показывает неприятную картину: простое зануление часто выглядит сильным детектором галлюцинаций из-за длительности окна, а точная локализация полезна не всем моделям.

Метод. Для Qwen2-Audio, Audio Flamingo 3 и Qwen2.5-Omni сравниваются маски CLAP-локализованного окна, случайного окна той же длины и пустого аудио. Дополнительно событие вставляют в истинную, предсказанную или случайную позицию и используют контрастное декодирование между исходным и вмешавшимся входом.

Результаты. Для Qwen2-Audio ансамблевый детектор достигает AUROC 0,743, пустое аудио — 0,721, а лучшая локальная маска лишь 0,613. В 608 опытах вставка в истинное место исправляет 16,8% ответов, CLAP-позиция — 10,5%, случайная — 3,1%; средний IoU локализатора 0,45, четверть примеров имеет нулевое пересечение. Контрастное декодирование повышает точность Qwen с 57,1 до 71,9%.

Ограничения. Рассмотрены три модели и ограниченный набор событий; CLAP сам ошибается. Эффекты по отдельным классам часто не проходят строгую поправку на множественные сравнения, а рецепт одной модели может вредить другой.

Фишка из статьи. Дискретный тест «ответ изменился или нет» почти бесполезен, потому что большинство галлюцинаций не исправляется ни одним вмешательством.

Как это читать: бинарная «исправляемость» отбрасывает градуальный сигнал. Но даже лучший ансамбль не доказывает корректную пространственно-временную привязку: часть выигрыша пустой маски объясняется длительностью.

Источник: arXiv:2610.13112. Оригинальное название: Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination.