За пределами расшифровки: как аудиоязыковые модели используют акустическую информацию
Аудиоязыковая модель может правильно отвечать о содержании речи, почти не используя тембр, интонацию или расположение событий. Авторы отделяют вклад самой записи от вклада её расшифровки и показывают, что акустические признаки часто присутствуют внутри сети, но плохо используются при ответе. Затем этот разрыв уменьшается небольшим направленным дообучением.
Метод. Для каждого вопроса проверяются пять входов: только вопрос, расшифровка, синтетическое чтение расшифровки, оригинал и оригинал вместе с текстом. Две разности — оригинал минус синтетическое чтение и добавление звука к тексту — совместно оценивают пользу акустики за пределами слов. Исследованы 19 открытых моделей и один закрытый ориентир на 92 задачах и 13 707 примерах. Для Gemma-4 12B и Qwen2.5-Omni-7B выбираются слои с ухудшением считываемости, в них обучается LoRA на 103 878 новых примерах; дополнительная KL-цель удерживает исходное лексическое поведение.
Результаты. У Qwen2.5-Omni точность задач о свойствах записи растёт с 56,7% до 69,5%, о внутренней структуре — с 34,0% до 78,4%. Лексическая точность почти сохраняется: 83,4% против 83,7%. У Gemma соответствующие структурные ответы улучшаются с 35,4% до 66,2%. Это результаты конкретного обучающего набора и классов задач, а не универсальное улучшение всех возможностей аудиомодели.
Ограничения. Синтетическое чтение отличается от оригинала не только просодией, а добавление звука к тексту проверяет ещё и мультимодальное объединение. Поэтому авторы используют обе разности, а не объявляют одну чистым измерением акустики. Диагностические классификаторы обучаются с метками и иногда получают границы сравниваемых сегментов; их точность не является достижимой без дополнительных условий точностью исходной модели. Обучающие структурные примеры частично синтетические.
Фишка из статьи. Диагностика отделяет отсутствие информации от неудачного её использования. В таблице ниже сопоставлены лучшие диагностические считывания и прямые ответы до адаптации; последняя строка имеет четыре варианта ответа, первые две — два.
| Модель / задача | Диагностическая точность, % | Точность ответа, % | Случайный уровень, % |
|---|---|---|---|
| Gemma / относительная высота | 97,9 | 49,4 | 50 |
| Qwen / относительная высота | 88,0 | 54,3 | 50 |
| Qwen / растянутое слово | 96,2 | 37,1 | 25 |
Как это читать: слабый ответ не доказывает, что кодировщик потерял акустический признак. В то же время успешный обученный классификатор не доказывает причинный механизм ответа. Полезный инженерный ход — сначала проверить считываемость, затем обучать использование доступных признаков, контролируя, не ухудшается ли распознавание слов.
Источник. Оригинальное название: Beyond the Transcript: Measuring and Improving the Use of Acoustic Information in Audio Language Models. arXiv:2611.11573; полный текст PDF.