MotionBench-XAI: как группировка времени и частоты меняет объяснения аудиомоделей по Шепли

Карта важности спектрограммы зависит не только от модели, но и от того, что считать одной объясняемой единицей: временное окно, частотную полосу или их пересечение. MotionBench-XAI систематически проверяет этот выбор вместе со способом заполнения удалённых признаков. Хотя основная постановка шире аудио, отдельный опыт на ESC-50 и Audio Spectrogram Transformer делает работу полезной для анализа звуковых классификаторов.

Метод. Методы Шепли оценивают вклад группы признаков через изменения прогноза при их скрытии. Авторы сравнивают десять способов, включая нули, средние, эмпирические примеры и генеративное условное восстановление с VAEAC или flow. Пять синтетических семейств позволяют вычислить эталонную игру; три реальные задачи охватывают движения, ЭКГ и звук. Принципиально различаются маргинальная и условная игры: замена пропущенного средним по всему набору и условным распределением задаёт разные вопросы. Метод оценивается относительно эталона именно своей игры.

Результаты. На гауссовском синтетическом примере KS-Zero имеет ошибку EC3 0,00 относительно правильного маргинального эталона, но 0,25 при оценивании условным эталоном. Это не ошибка реализации, а несовпадение задачи. В реальном звуке ESC-50 временной KS-Marginal получает корреляцию faithfulness 0,92 и PlayerAOPC 0,88. Генеративное заполнение не становится лучшим автоматически, а на других группировках показатели могут ранжировать объяснения по-разному.

Ограничения. На реальных данных правильной карты вкладов нет; faithfulness и AOPC являются косвенными проверками относительно выбранного способа удаления. Значения AOPC сравнимы внутри одной группировки, но не между разным числом элементов. Синтетический эталон ограничен гауссовскими и копульными семействами; размеры умеренные, до 68 игроков. Для крупных игр эталонные значения сами численно оцениваются. VAEAC здесь восстанавливает скрытые признаки объясняемой задачи, а не служит аудиокодеком или доказанно реалистичной моделью произвольной речи.

Фишка из статьи. В таблице 5 для ESC-50 при объяснении частотными полосами победитель зависит от показателя. Ниже одна и та же группировка, больше лучше в обоих столбцах; средние по разбиениям.

Как это читать: VAEAC лучше согласует сумму вкладов с изменением прогноза, но последовательное удаление важных полос даёт меньший спад, чем у простого маргинального метода. Поэтому один победный показатель не удостоверяет «истинность» объяснения. Сначала нужно сформулировать вопрос о времени или частоте и правило отсутствующего сигнала, а затем согласованно проверять ответ.

Источник. Оригинальное название: MotionBench-XAI: Benchmarking What Shapes Shapley Explanations in Spatiotemporal Machine Learning. arXiv:2611.08797; полный текст PDF.