TRACE: проверка того, как аудиоязыковые модели используют акустические свидетельства
TRACE отделяет правильный ответ о звуке от использования правильного акустического свидетельства. В синтетических сценах известны события, их интервалы и ответы на вопросы о наличии, количестве и порядке. Это позволяет проверить не только точность, но и то, меняет ли модель ответ при существенном изменении записи и сохраняет ли его при несущественном.
Метод. Набор содержит 7000 сцен: 4000 исходных и 3000 изменённых, с 74 классами событий. Перестановки, удаления и повторения меняют правильный ответ; фон, усиление и часть шумовых изменений его сохраняют. Для пяти моделей оцениваются ответы и временная атрибуция Shapley: десятисекундная запись делится на 20 окон по 500 мс, на пример отводится 200 вычислений. Атрибуция показывает чувствительность выбранного ответа к участкам сигнала, а не непосредственно ход рассуждения.
Результаты. На исходных сценах общая точность составляет от 55,0% у AF-Next до 78,4% у Qwen3-Omni. Последняя достигает 92,9% на подсчёте событий, но только 61,4% на положительных вопросах о наличии. При изменениях, требующих смены ответа, Qwen3 корректно реагирует в 45,9% случаев, AF-Next — в 22,8%; ни одна из пяти моделей не превосходит половины таких случаев.
Ограничения. Сцены контекстно согласованы, но синтезированы: это не доказанная экологическая достоверность реальных звуковых ситуаций. Выводы об атрибуции зависят от маскирования, разрешения и выбранного ответа. Число перестановок мало, поэтому авторы интерпретируют совокупные эффекты, не индивидуальные объяснения и не небольшие различия моделей. Нужен доступ к логитам, что ограничивает набор систем.
Фишка из статьи. Раздел о типах ошибок показывает неожиданный результат: большинство неверных ответов всё же связано с целевым событием по принятому критерию атрибуции.
| Модель | Точность на исходных сценах, % | Доля неверных ответов с опорой на целевое событие, % |
|---|---|---|
| AF-Next | 55,0 | 71,2 |
| Qwen2.5 | 67,8 | 72,2 |
| Qwen3 | 78,4 | 72,5 |
Как это читать: лучшее обнаружение нужного участка не обязано исправлять интерпретацию порядка или количества. Сходная доля атрибуции цели сосуществует с большим разрывом точности. Это диагностическое, а не причинное доказательство: нельзя буквально приравнивать атрибуцию к вниманию или заключать, что модель «понимает» событие. Полезный протокол должен одновременно измерять ответ, свидетельства и реакцию на контролируемое изменение.
Источник. Оригинальное название: TRACE: Trustworthy Reasoning from Acoustic Cues and Evidence. arXiv:2610.26894; полный текст PDF.