Muting Tokens: разреживание токенов аудиотрансформера с частотными признаками

Работа сравнивает, какие спектрограммные токены можно удалить из Audio Spectrogram Transformer без сильной потери точности. В дополнение к вниманию используются интенсивность и частотные характеристики скрытых векторов. Важная тонкость: FFT вычисляется вдоль координат обученного представления, а не вдоль физической частотной оси аудиосигнала.

Метод. Оценки CLS-внимания объединяются с энергией низкочастотной части FFT вектора либо его спектральной плоскостностью, отношением геометрического среднего модуля к арифметическому. Низкая плоскостность трактуется как более выраженная внутренняя структура токена; это эвристика для скрытого пространства. Сравниваются Top-K, EViT, объединение ToMe и новые оценки на Speech Commands, ESC-50 и AudioSet-20K для AST-B, S и T. Удаление после готового обучения отделено от дообучения уже с разреживанием.

Результаты. Для AST-B на AudioSet при сохранении половины токенов вариант SF сокращает вычисления с 261,43 до 124,95 GFLOP, примерно на 52,2%; mAP снижается с 0,3572 до 0,3499. У Top-K при близкой стоимости mAP равна 0,3470. При сохранении четверти токенов SF даёт 0,3007, а Top-K 0,2956: экономия уже существенно ухудшает результат. Если разреживание включено в дообучение, различия эвристик уменьшаются, поскольку модель приспосабливается к оставленным признакам.

Ограничения. Это классификация коротких звуков и команд, а не распознавание произвольной длинной речи. GFLOP не заменяют измерение задержки на целевом устройстве. Низкие частоты FFT скрытого вектора не равны низким акустическим частотам, а его координатная система сама обучаема. Преимущество эвристик зависит от набора и размера модели; некоторые формулировки общего превосходства сильнее отдельных ячеек таблиц.

Фишка из статьи. При очень сильном удалении токенов один и тот же частотный признак ведёт себя по-разному на речевой и общей акустической задачах. Таблица 2a: AST-B после обучения, сохранено 25% токенов.

Как это читать: LFE здесь существенно лучше сохраняет команды, тогда как SF не имеет универсального преимущества. Более мягкое удаление даёт другую картину, а дообучение снова меняет относительные результаты. Практически важны три независимых выбора: степень сокращения, эвристика отбора и возможность адаптации; перенос одного лучшего числа между режимами вводит в заблуждение.

Источник. Оригинальное название: Muting Tokens: Exploring Token Sparsification for Efficient Audio Transformers. arXiv:2610.31235; полный текст PDF.