Аудиоязыковые модели Просодия Анализ представлений
arXiv cs.CL

За пределами расшифровки: как аудиоязыковые модели используют акустическую информацию

ArXiv:2611.11573

Аудиоязыковая модель может правильно отвечать о содержании речи, почти не используя тембр, интонацию или расположение событий. Авторы отделяют вклад самой записи от вклада её расшифровки и показывают, что акустические признаки часто присутствуют внутри сети, но плохо используются при ответе. Затем этот разрыв уменьшается небольшим направленным дообучением.

Метод. Для каждого вопроса проверяются пять входов: только вопрос, расшифровка, синтетическое чтение расшифровки, оригинал и оригинал вместе с текстом. Две разности — оригинал минус синтетическое чтение и добавление звука к тексту — совместно оценивают пользу акустики за пределами слов. Исследованы 19 открытых моделей и один закрытый ориентир на 92 задачах и 13 707 примерах. Для Gemma-4 12B и Qwen2.5-Omni-7B выбираются слои с ухудшением считываемости, в них обучается LoRA на 103 878 новых примерах; дополнительная KL-цель удерживает исходное лексическое поведение.

Результаты. У Qwen2.5-Omni точность задач о свойствах записи растёт с 56,7% до 69,5%, о внутренней структуре — с 34,0% до 78,4%. Лексическая точность почти сохраняется: 83,4% против 83,7%. У Gemma соответствующие структурные ответы улучшаются с 35,4% до 66,2%. Это результаты конкретного обучающего набора и классов задач, а не универсальное улучшение всех возможностей аудиомодели.

Ограничения. Синтетическое чтение отличается от оригинала не только просодией, а добавление звука к тексту проверяет ещё и мультимодальное объединение. Поэтому авторы используют обе разности, а не объявляют одну чистым измерением акустики. Диагностические классификаторы обучаются с метками и иногда получают границы сравниваемых сегментов; их точность не является достижимой без дополнительных условий точностью исходной модели. Обучающие структурные примеры частично синтетические.

Фишка из статьи. Диагностика отделяет отсутствие информации от неудачного её использования. В таблице ниже сопоставлены лучшие диагностические считывания и прямые ответы до адаптации; последняя строка имеет четыре варианта ответа, первые две — два.

Модель / задачаДиагностическая точность, %Точность ответа, %Случайный уровень, %
Gemma / относительная высота97,949,450
Qwen / относительная высота88,054,350
Qwen / растянутое слово96,237,125

Как это читать: слабый ответ не доказывает, что кодировщик потерял акустический признак. В то же время успешный обученный классификатор не доказывает причинный механизм ответа. Полезный инженерный ход — сначала проверить считываемость, затем обучать использование доступных признаков, контролируя, не ухудшается ли распознавание слов.

Источник. Оригинальное название: Beyond the Transcript: Measuring and Improving the Use of Acoustic Information in Audio Language Models. arXiv:2611.11573; полный текст PDF.

Оригинальная статья на arXiv