TRACE: почему правильный ответ аудиомодели ещё не доказывает опору на нужный звук
Если модель верно отвечает, что в смеси слышны шаги, она ещё может опираться на скрип двери. TRACE проверяет это, поочерёдно удаляя нужный звук и конкурирующие источники. Важна не только смена ответа «да/нет», а порядок внутренних оценок: наличие цели должно получать большую уверенность, чем её отсутствие.
Метод. Из размеченных исходных дорожек ESC-50 собирают 3 456 условий смеси для каждой из восьми моделей. Используются 192 фрагмента из 49 классов, 64 тройки источников, несколько SNR, наложений и чисел помех. Для одного вопроса вычисляют разность логарифмов вероятностей «есть» и «нет» на исходной смеси, смеси без цели и вариантах без каждой помехи. Если вариант без цели оценивается не ниже хотя бы одного варианта с целью, общего локального порога для правильной классификации всех вариантов не существует. Сохраняются уровни и временные сдвиги оставшихся дорожек; отдельный контроль выравнивает RMS.

Результаты. Среди 18 911 правильных ответов на исходные смеси 1 184, или 6,3%, нарушают порядок; 95%-й интервал 4,9–7,8%. Проверка только падения оценки после удаления цели пропускает 42,5% таких случаев. При снижении SNR цели с +5 до -5 дБ доля нарушений на одних и тех же единицах, правильно решённых при всех уровнях, растёт с 4,9 до 8,4%. Поэтому ухудшение нельзя объяснить только появлением новых ошибочных исходных ответов. Обычная точность и согласованность контрфактических оценок измеряют разные свойства.
Ограничения. Протокол использует известные раздельные дорожки и короткие контролируемые смеси, а не произвольную запись с неизвестными источниками. Исследуется бинарный вопрос о наличии звука и доступные вероятности токенов, а не свободное устное рассуждение. Согласованный порядок доказывает лишь локальную разделимость этих вариантов, не человеческое понимание источника. Результат зависит от конкретных записей и формулировок; авторы проверяют их влияние дополнительными заменами и переформулировками.
Фишка из статьи. Таблица 4 содержит парные акустические контроли. Во всех строках акустической конкуренции сравниваются только случаи с правильным исходным ответом на каждом уровне. При двух помехах их общая мощность сохраняется: рост нарушений нельзя свести к простому увеличению энергии фона.
| Парное изменение | Нарушения: до / после, % | Разность, п.п. | 95%-й интервал разности |
|---|---|---|---|
| SNR цели: +5 → -5 дБ | 4,9 / 8,4 | +3,5 | 2,7–4,3 |
| То же, RMS вариантов выровнен | 5,2 / 8,0 | +2,9 | 2,1–3,8 |
| Число помех: 1 → 2 | 4,0 / 8,3 | +4,3 | 2,8–5,9 |
| Qwen2.5-Omni-7B → адаптер AHA | 3,1 / 3,1 | 0,0 | -0,5–0,4 |
Как это читать: увеличение акустической конкуренции разрушает обоснованность даже сохранившегося правильного ответа. Последняя строка является отдельным сравнением обучения на совместно правильных случаях: адаптер не даёт обнаружимого улучшения данного свойства. Разные строки имеют собственные парные подмножества, их проценты не следует усреднять как общий показатель.
Источник. Оригинальное название: Right Answers, Inconsistent Evidence: Source-Level Counterfactual Auditing of Large Audio-Language Models. arXiv:2611.15463; полный текст PDF.