Голосовые языковые модели кодируют недовольство пользователя, но не распознают его в ответе

Если качество ответа не меняется при недовольной интонации, это может означать устойчивость, а может — что модель вообще не распознала настроение. VoxAffect разводит эти объяснения: отдельно варьирует недовольство в словах и голосе и проверяет восприятие на тех же записях. Для мягкого недовольства результат существенно хуже, чем для ярко сыгранного гнева.

Метод. 353 задания из четырёх наборов представлены в схеме 2×2: нейтральные или недовольные слова, нейтральный или недовольный голос. Один из 55 голосов закреплён за заданием, что даёт 1412 клипов. Переписывание проходит смысловой аудит; восприятие интонации проверяют люди и отдельные распознаватели эмоций. Восемь аудиоязыковых моделей отвечают на задания и оценивают тон. Для двух открытых моделей логистические классификаторы читают скрытые состояния с разделением по исходным заданиям и балансировкой длительности клипов.

Результаты. При нейтральных словах модели называют недовольный голос недовольным максимум в 3,1% случаев; люди правильно различают пару в 65,3% оценок. Семь моделей при этом распознают актёрский гнев в 73–100% контрольных записей. У семи из восьми нет обнаруженного эффекта интонации на точность заданий. Однако классификаторы среднего слоя аудиокодировщика различают варианты с точностью 0,67 для Qwen2.5 и 0,69 для MiMo-Audio. Значит, информация о голосе доступна представлению, но это ещё не успешное явное понимание состояния пользователя.

Ограничения. Исследована одна мягкая эмоция, английский и синтез одного коммерческого генератора. Это не доказательство такого же поведения на спонтанной человеческой раздражённой речи, других культурах и многоходовых разговорах. Отсутствие статистически обнаруженного изменения точности не устанавливает полную эквивалентность. Пробник показывает извлекаемую информацию, а не причинный механизм её использования; его успех нельзя автоматически приписывать самой модели.

Фишка из статьи. Таблица 5 прослеживает ослабление различимого сигнала между аудиокодировщиком и ответом. Балансировка устроена так, чтобы сама длительность записи давала случайный результат 0,5.

Как это читать: у MiMo-Audio сигнал к ответу близок к случайному уровню, хотя в кодировщике он был заметен. Равный результат простых акустических признаков не делает пробник «детектором настоящих эмоций»: речь о контролируемом различении синтетических условий. Для заявления об устойчивости нужно сначала подтвердить, что система заметила именно то изменение, к которому якобы устойчива.

Источник. Оригинальное название: Voice-Native LLMs Hear Frustration but Do Not Listen to It. arXiv:2611.02893; полный текст PDF.