Аудиоязыковые модели Галлюцинации Проверка устойчивости
arXiv cs.SD

TRACE: почему правильный ответ аудиомодели ещё не доказывает опору на нужный звук

ArXiv:2611.15463

Если модель верно отвечает, что в смеси слышны шаги, она ещё может опираться на скрип двери. TRACE проверяет это, поочерёдно удаляя нужный звук и конкурирующие источники. Важна не только смена ответа «да/нет», а порядок внутренних оценок: наличие цели должно получать большую уверенность, чем её отсутствие.

Метод. Из размеченных исходных дорожек ESC-50 собирают 3 456 условий смеси для каждой из восьми моделей. Используются 192 фрагмента из 49 классов, 64 тройки источников, несколько SNR, наложений и чисел помех. Для одного вопроса вычисляют разность логарифмов вероятностей «есть» и «нет» на исходной смеси, смеси без цели и вариантах без каждой помехи. Если вариант без цели оценивается не ниже хотя бы одного варианта с целью, общего локального порога для правильной классификации всех вариантов не существует. Сохраняются уровни и временные сдвиги оставшихся дорожек; отдельный контроль выравнивает RMS.

Проверяется порядок оценок после удаления разных источников. Смесь известных дорожек: Один вопрос о присутствии цели во всех вариантах. Исходная смесь: Цель есть; оценка M исходного аудио. Удалена цель: Цели нет; её оценка должна быть ниже всех остальных. Поочерёдно удалены помехи: Цель остаётся; отдельный вариант для каждой помехи. Вероятности ответов: Без свободной генерации: две буквы ответа. Новое: общий порядок: Любой вариант с целью выше варианта без цели?.
Схема по материалам статьи, раздел 3, рисунок 1 и таблица 4. Оценка M равна log p(есть) − log p(нет). Удаление выполняется по известным дорожкам, а не разделителем. Порядок проверяет локальную согласованность и не доказывает человеческое понимание.

Результаты. Среди 18 911 правильных ответов на исходные смеси 1 184, или 6,3%, нарушают порядок; 95%-й интервал 4,9–7,8%. Проверка только падения оценки после удаления цели пропускает 42,5% таких случаев. При снижении SNR цели с +5 до -5 дБ доля нарушений на одних и тех же единицах, правильно решённых при всех уровнях, растёт с 4,9 до 8,4%. Поэтому ухудшение нельзя объяснить только появлением новых ошибочных исходных ответов. Обычная точность и согласованность контрфактических оценок измеряют разные свойства.

Ограничения. Протокол использует известные раздельные дорожки и короткие контролируемые смеси, а не произвольную запись с неизвестными источниками. Исследуется бинарный вопрос о наличии звука и доступные вероятности токенов, а не свободное устное рассуждение. Согласованный порядок доказывает лишь локальную разделимость этих вариантов, не человеческое понимание источника. Результат зависит от конкретных записей и формулировок; авторы проверяют их влияние дополнительными заменами и переформулировками.

Фишка из статьи. Таблица 4 содержит парные акустические контроли. Во всех строках акустической конкуренции сравниваются только случаи с правильным исходным ответом на каждом уровне. При двух помехах их общая мощность сохраняется: рост нарушений нельзя свести к простому увеличению энергии фона.

Парное изменениеНарушения: до / после, %Разность, п.п.95%-й интервал разности
SNR цели: +5 → -5 дБ4,9 / 8,4+3,52,7–4,3
То же, RMS вариантов выровнен5,2 / 8,0+2,92,1–3,8
Число помех: 1 → 24,0 / 8,3+4,32,8–5,9
Qwen2.5-Omni-7B → адаптер AHA3,1 / 3,10,0-0,5–0,4

Как это читать: увеличение акустической конкуренции разрушает обоснованность даже сохранившегося правильного ответа. Последняя строка является отдельным сравнением обучения на совместно правильных случаях: адаптер не даёт обнаружимого улучшения данного свойства. Разные строки имеют собственные парные подмножества, их проценты не следует усреднять как общий показатель.

Источник. Оригинальное название: Right Answers, Inconsistent Evidence: Source-Level Counterfactual Auditing of Large Audio-Language Models. arXiv:2611.15463; полный текст PDF.

Оригинальная статья на arXiv