Управление речевыми языковыми моделями без обучения через контрастное сложение активаций

Работа показывает, что речевую языковую модель можно переключить на распознавание, эмоции или описание звука без изменения весов. Контраст между активациями с задачей и без неё образует направление, которое добавляется в остаточный поток модели во время вывода.

Метод. Contrastive Activation Addition оценивает вектор по 50–300 примерам, затем выбирает слой и амплитуду на небольшой сетке. Направление вводится в текстовые и звуковые позиции Qwen2-Audio-7B-Instruct или Phi-4-Multimodal. Для нелатинских письменностей отдельно извлекается текстовое направление нормализации алфавита.

Результаты. У Qwen2-Audio сочетание подсказки и управления снижает средний WER LibriSpeech с 3,68% до 3,42% и повышает точность эмоций IEMOCAP с 70,0% до 74,2%. На Common Voice заметны абсолютные выигрыши 6,4 пункта CER для арабского и 5,1 для хинди. Введение направления и в аудио, и в текст уменьшает WER LibriSpeech с 14,90% до 8,35% по сравнению с управлением только текстовыми позициями.

Ограничения. Лучшие слой и амплитуда подбираются на размеченной выборке, поэтому «без обучения» не означает «без настройки». Без текстовой подсказки модель часто продолжает транскрипцию после конца аудио; на арабском, хинди и русском возникают ошибки алфавита. Эффект зависит от исходных возможностей модели и не всегда улучшает AudioCaps у Phi-4.

Фишка из статьи. Направление распознавания почти не привязано к корпусу: вектор из LibriSpeech работает на Common Voice и наоборот, тогда как случайный вектор той же нормы ухудшает результат.

Как это читать: задача действительно кодируется направлением, а не просто дополнительной энергией в активациях. Но подсказка по-прежнему задаёт формат и момент остановки; лучше всего два механизма работают вместе.