Не только смена ответа: контрольные замены того же класса для проверки локальных аудиоданных
Если после замены короткого звука аудиоязыковая модель меняет ответ, это ещё не доказывает, что она распознала новое событие. Причиной может быть сам монтаж. Авторы сравнивают две одинаково выполненные замены: на другой экземпляр прежнего класса и на событие другого класса, которое действительно требует нового ответа.
Метод. Scaper создаёт 600 десятисекундных сцен 16 кГц из FSD-MIX-SED и TUT: целевое событие, отделённая минимум на 0,3 с помеха и постоянный фон. Вопрос выбирает один из двух классов; оба порядка вариантов дают 1200 испытаний на условие. Заменам выравнивают интервал, уровень, подгонку донора и плавность стыка. Дополнительно удаляют помеху, меняют фоновое окно, подают тишину или выполняют фиктивную замену исходным фрагментом. Парный bootstrap сохраняет оба порядка и все вмешательства внутри сцены.
Результаты. У Qwen2.5-Omni-7B, Qwen2.5-Omni-3B и Fun-Audio-Chat-8B замена класса вызывает на 60,92, 57,75 и 49,67 процентного пункта больше изменений ответа, чем замена того же класса. Все доверительные интервалы исключают ноль. Точность после замены того же класса остаётся в пределах 5,2 пункта от исходной; фиктивный монтаж меняет менее 1% ответов. На подмножестве с близкими лог-мел-расстояниями двух правок разница также сохраняется.
Ограничения. Проверены 33 класса в искусственных сценах при одном номинальном отношении события к фону +10 дБ, а не естественные перекрывающиеся разговоры. Выборочная точность считается только там, где исходный и контрольный ответы верны; состав подмножества зависит от модели. Фоны переиспользуются: 458 записей на 600 сцен, иногда до восьми сцен на фон. Метод подтверждает поведение в данном протоколе, но не доказывает внутренний механизм рассуждения и не измеряет все виды галлюцинаций.
Фишка из статьи. Таблицы 1–2 отделяют сам факт реакции от её правильного направления. Выборочная точность сначала усредняется по допустимым порядкам вариантов внутри сцены, затем по сценам с равным весом.
| Модель | Смена ответа: другой / тот же класс, % | Выборочная точность, % | Допустимые сцены / 600 |
|---|---|---|---|
| Qwen2.5-Omni-7B | 73,17 / 12,25 | 81,9 | 542 |
| Qwen2.5-Omni-3B | 70,25 / 12,50 | 80,1 | 544 |
| Fun-Audio-Chat-8B | 65,33 / 15,67 | 73,7 | 481 |
Как это читать: даже заметная смена ответа не равна правильному распознаванию донора. А 81,9% относится не ко всем сценам, поэтому рядом обязательно нужна полнота покрытия. Такой контроль полезно добавлять к аудиотестам вместо единственного опыта с удалением: сохранение класса оставляет правильный ответ неизменным, но сохраняет саму процедуру вмешательства.
Источник. Оригинальное название: Beyond Answer Changes: Matched Same-Class Controls for Local Audio Evidence. arXiv:2610.37605; полный текст PDF.