Текст против звучания: как аудиоязыковая модель подавляет паралингвистические признаки

Если текстовая подсказка утверждает, что человек спокоен, а голос звучит сердито, аудиоязыковая модель часто верит тексту. Авторы проверяют, теряет ли система акустическую информацию или сохраняет её, но не использует при ответе. Результат указывает на распространение противоречащего утверждения через промежуточные позиции генерации, а не только на прямое внимание последнего слова к подсказке.

Метод. Из RAVDESS и MUStARD++ построены 3594 примера конфликтов эмоциональной просодии, характеристики диктора и сарказма. «Личность» в основном контроле означает противопоставление мужского и женского голоса, не распознавание конкретного человека. Поведенчески сравниваются шесть моделей; подробные вмешательства проведены только в Qwen2-Audio-7B-Instruct, прошедшей проверку способности отвечать по одному аудио. Линейные пробы, перенос активаций и отключение отдельных связей внимания отделяют доступность признака от его использования.

Результаты. Средняя доля следования неверному тексту на несогласованных текстово-звуковых примерах равна 0,78, без сарказма 0,86. Характеристика голоса при этом извлекается линейной пробой с accuracy 1,0 уже от 13-го слоя кодировщика. Отключение прямого пути от позиции ответа к утверждению почти не помогает. Блокирование пути для последующих генерируемых позиций в средних слоях уменьшает следование неверной подсказке в свободном ответе, сохраняя или повышая точность на согласованных примерах.

Ограничения. Механистический вывод получен на одной модели семейства Whisper и небольших диагностических поднаборах с широкими интервалами. Используется в основном актёрская, а не естественная кризисная речь. Отсутствие эффекта переноса активаций нельзя считать доказательством принципиальной непереносимости: репликация исходной лексической задачи тоже не дала значимого выигрыша, исправив 14 и испортив 12 из 300 примеров. Линейная доступность признака не равна его гарантированному использованию.

Фишка из статьи. Формат оценки меняет видимость вмешательства. Для свободного описания таблица 3 показывает разницу между отключением поздних и средних слоёв; ниже доля ответов, называющих неверную текстовую метку.

Как это читать: акустика не обязательно потеряна на входе; ложный текст закрепляется по ходу формирования ответа. При закрытом выборе только на фиксированной позиции эффект почти невидим, поэтому такая проверка может пропустить полезное изменение поведения. Но отключение всех связей тоже небесплатно: точность согласованной просодии падает с 0,767 до 0,667. Это диагностическое вмешательство, а не готовая универсальная защита.

Источник. Оригинальное название: Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits. arXiv:2610.25599; полный текст PDF.