Внимание к звуковым токенам можно предсказать до запуска языковой модели

Звуковые языковые модели тратят сотни токенов на минуту речи, но привычное прореживание по вниманию узнаёт важные токены только после дорогого запуска языковой части. Triage заранее предсказывает суммарное внимание всех слоёв простой линейной проекцией признаков звукового кодировщика, а при необходимости уточняет отбор после второго слоя.

Метод. Первый этап обучается без разметки и без вопроса: линейная карта ранжирует токены по ожидаемому полному вниманию. Для транскрипции из каждого временного сегмента сохраняется лучший токен, чтобы не потерять участок речи; для вопросов используется глобальный top-K и второй этап, смешивающий априорную оценку с реально наблюдённым вниманием второго слоя.

Результаты. На 11 из 13 исследованных звуковых языковых моделей ранговая корреляция предсказания с полным вниманием не ниже 0,69. При осторожном бюджете WER и точность остаются в пределах 0,04 от полного звука. При агрессивном бюджете Triage превосходит все ориентиры во всех 12 случаях транскрипции; в задачах выбора ответа при сжатии 2,2–5 раз средняя прибавка над DART равна 0,043.

Ограничения. Калибровка использует неразмеченный звук из близкого распределения, а разные задачи требуют разных правил отбора. Проверены четыре семейства моделей и шесть испытаний; длинный контекст оценивается расчётно по токенам, без полного анализа фактической задержки и памяти на каждом ускорителе.

Фишка из статьи. Простое равномерное прореживание тоже покрывает всю временную шкалу, но уступает Triage во всех 24 транскрипционных сравнениях. Значит, выигрыш создаёт сочетание двух ограничений: не терять ни один временной участок и внутри него выбирать токен по предсказанному вниманию.

Как это читать: метод не обещает безусловного пятикратного сжатия для распознавания; его сильная сторона — автоматически подобрать допустимый бюджет и выбрать токены до дорогого прохода языковой модели.