AudioTETRIS: удаление аудиотокенов по значимости переходов для эффективных аудиоязыковых моделей
AudioTETRIS без дообучения удаляет до трёх четвертей аудиотокенов и сохраняет большую часть качества аудиоязыковой модели. В отличие от отбора только по вниманию декодера, метод заранее помечает резкие переходы в скрытых состояниях аудиокодировщика, где обычно сосредоточены фонетические границы и события.
Метод. Приоритет токена складывается из L2-разности соседних скрытых состояний и внимания языкового декодера. Сокращение выполняется в два этапа: сразу после первого слоя и глубже в сети. Подход проверен на Qwen2-Audio, Phi-4 и Audio Flamingo 3 для распознавания речи, эмоций, аудиовопросов и перевода речи.
Результаты. У Qwen2-Audio удаление 36% токенов сохраняет WER 4,52% против 4,61% без сжатия и сокращает задержку с 1,31 до 1,19 с. При 75% WER равен 8,50%, задержка — 0,62 с, вычисления — 4,32 против 7,89 TFLOP; случайное удаление даёт WER 31,59%. Для грубых аудиозадач деградация меньше, чем для точной расшифровки.
Ограничения. Предположение о значимости переходов проверено в основном на речевых кодировщиках Whisper и Conformer. Измерения выполнены на A100; выигрыш зависит от реализации внимания и ядер, а высокая степень сокращения заметно портит распознавание речи.
Фишка из статьи. Абляция раскрывает, что важна не любая мера изменения признаков и не одно внимание декодера.
| Вариант при сокращении | Удалено токенов | WER |
|---|---|---|
| L2-переходы + внимание | 51% | 5,77% |
| Косинусные переходы | 51% | 9,04% |
| Полный метод | 75% | 8,50% |
| На втором этапе только внимание | 75% | 15,56% |
Как это читать: абсолютная величина изменения L2 сохраняет амплитудную информацию, полезную для акустических границ. Отказ от этого предварительного признака почти удваивает ошибку при агрессивном сжатии.
Источник: arXiv:2610.13600. Оригинальное название: AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs.