AudioScorer: отбор звуковых элементов последовательности с учётом вопроса пользователя

Для вопроса о музыке и для дословной расшифровки важны разные части одной записи. AudioScorer учится ранжировать звуковые элементы последовательности по конкретному вопросу, а не удалять их только по вниманию или равномерно во времени. Результаты одновременно показывают пользу такого отбора и предел агрессивного сокращения: сохранить десять процентов элементов всё ещё слишком мало для надёжного распознавания.

Метод. Текстовый bge-base-en-v1.5 кодирует вопрос, небольшое перекрёстное внимание связывает его с каждым аудиоэлементом, затем модуль выдаёт оценки важности. Учитель заморожен: по градиенту вероятности правильного ответа к входным звуковым представлениям строятся мягкие цели ранжирования. Дополнительная потеря проверяет сам ответ. При обучении применяется мягкое взвешивание, при работе — жёсткий Top-K после второго слоя Qwen2.5-Omni-3B. Первые два слоя и акустический кодировщик всё равно видят полный вход.

Результаты. При сохранении 10% элементов метод лучший или делит первое место на семи из десяти задач AudioMarathon. Точность слов WAR распознавания достигает 31,25% против 5,15% у сильнейшего конкурента HeadRouter; но исходная модель имеет 97,68%. На задачах распознавания звуковой сцены и музыкального класса качество сохраняется существенно лучше. Расчётные операции до первого выходного элемента уменьшаются с 46,04 до 17,51 TFLOPs; это примерно 62% экономии, а не десятикратное ускорение всего приложения.

Ограничения. Основные опыты проведены на одной модели 3B и двух наборах задач. TFLOPs не являются измеренными секундами задержки или потреблением памяти; полный акустический тракт не сокращается. Градиентное ранжирование зависит от правильности опорных ответов. Для обнаружения поддельной речи качество при 10% резко падает, поэтому одинаковый бюджет нельзя автоматически назначать всем вопросам. Небольшие улучшения отдельных классификационных метрик могут означать удаление помех, а не сохранение всей записи.

Фишка из статьи. Таблица 1 показывает нелинейный провал распознавания при переходе от умеренного к предельному сокращению. Ниже только AudioScorer; WAR выше лучше и не тождественна WER.

Как это читать: почти неизменный результат классификации не удостоверяет сохранность слов. Бюджет 40% здесь выглядит намного более щадящим для текста, чем 10%, хотя экономит меньше вычислений. Практический выбор должен зависеть от задания: обзор звукового события и транскрипция требуют разной информационной плотности.

Источник. Оригинальное название: AudioScorer: Learning Question-Aware Token Relevance for Large Audio Language Models. arXiv:2610.26258; полный текст PDF.