SKAD: контрастивное декодирование аудиоязыковой модели с опорой на краткое описание звуков
SKAD борется с уходом аудиоязыковой модели от записи к правдоподобному текстовому продолжению во время рассуждения. Сначала создаётся краткое описание относящихся к вопросу звуков, затем сравниваются две ветви генерации: с исходным аудио и только с этим описанием. Общая текстовая основа делает сравнение информативнее, чем простое удаление аудио из одной ветви.
Метод. Метод работает при выводе без обновления весов. Акустический набросок служит общим условием, а контраст между распределениями токенов усиливает зависимость ответа от самого сигнала. Коэффициент контраста проверяется в нескольких значениях. Испытаны Qwen2.5-Omni-7B и ориентированная на рассуждение Step-Audio-R1 на MMAR, MMAU и MMSU. Это дополнительная организация вычислений, а не новый предварительно обученный кодировщик.
Результаты. На MMAU-mini Qwen2.5-Omni повышает среднюю точность с 70,3 до 73,7%, на MMSU — с 57,7 до 61,4%. Step-Audio-R1 растёт соответственно с 71,1 до 74,8% и с 69,3 до 71,6%. По среднему трёх наборов улучшения сохраняются во всех показанных значениях силы SKAD, хотя величина выигрыша зависит от настройки и модели.
Ограничения. Краткое описание само создаётся моделью и может содержать пропуск или ошибку: оно не является внешней проверенной разметкой записи. Две ветви и предварительное описание увеличивают вычисления; отсутствие обучения не означает бесплатного вывода или подтверждённой работы в реальном времени. Проверка ограничена двумя открытыми моделями и тестами с готовыми ответами, без доказательства переноса на произвольный речевой диалог.
Фишка из статьи. Абляция таблицы 3 проверяет, полезен ли сам контраст без общего акустического описания. Для SKAD ниже указан диапазон средних точностей по испытанным настройкам.
| Режим | Qwen2.5-Omni: среднее трёх тестов, % | Step-Audio-R1: среднее, % |
|---|---|---|
| Исходное рассуждение | 60,5 | 67,7 |
| Прямой контраст без описания | 60,8 при α=0,5 | 67,6 при α=0,2 |
| SKAD с описанием | 62,9–63,9 | 69,5–70,4 |
Как это читать: одного вычитания предсказаний ветви без аудио недостаточно: оно может почти ничего не изменить или ухудшить результат. Полезной оказывается конструкция сопоставимой опорной ветви. Такая абляция показывает механизм эффекта лучше, чем общий тезис о преимуществе более длинного рассуждения, но ещё не измеряет достоверность каждого промежуточного описания.
Источник. Оригинальное название: SKAD: Sketch-Guided Audio-Contrastive Decoding for Reasoning in Large Audio-Language Models. arXiv:2610.28146; полный текст PDF.