Общие концептуальные нейроны звука и текста в больших аудиоязыковых моделях

Работа ищет внутренние компоненты аудиоязыковой модели, которые отвечают за один признак и при его звучании, и при текстовом описании. Простая близость общих векторов почти скрывает такую связь, тогда как пересечение отобранных нейронов выявляет её намного яснее. Авторы дополняют наблюдения вмешательствами: текстовый сдвиг меняет ответ об аудио, а выключение найденных единиц ухудшает соответствующую задачу.

Метод. В Qwen2.5-Omni, DeSTA2.5-Audio и Audio Flamingo 3 анализируются FFN-активации для классов животных звуков, эмоций, пола голоса и языка. Для каждой метки пересекаются наиболее характерные аудио- и текстовые нейроны. Сопоставление проверяется против несовпадающих меток и случайных наборов одинакового размера. Направление управления вычисляется только из текстовых входов; затем оно применяется при обработке звука, включая контроль на тишине и шуме.

Результаты. В 12 сочетаниях модели и задачи вклад совпадения меток составляет 9–92% вариации матрицы нейронных пересечений. Для косинусной близости этот вклад меньше 2% в задачах эмоций, пола и языка. Текстовый сдвиг значимо превосходит пять случайных наборов для 42 из 72 сочетаний модель–задача–метка. Это показывает управляемое общее представление в испытанных условиях, но не улучшение точности распознавания как продукта.

Ограничения. Вмешательства измеряют сдвиг ответа, в том числе к неверному классу, а не повышение достоверности. Для задачи с двумя метками пола полноценный перестановочный тест различимости ограничен числом перестановок. Размер нейронного набора для управления выбирается по окну выключения, найденному на тесте, а не независимой валидации; авторы объясняют это малой выборкой, но границу обобщения надо сохранять. Изучены лишь три системы и несколько атрибутов.

Фишка из статьи. Таблица 3 показывает, насколько одинаковая процедура зависит от архитектуры. Числитель — число меток со значимым преимуществом над случайными вмешательствами, знаменатель — все проверенные метки.

Как это читать: наличие общих нейронов ещё не гарантирует одинаковый рычаг управления во всех системах. DeSTA использует также транскрипцию, которая продолжает выдавать язык исходной речи и может ослаблять акустическое вмешательство; это возможное объяснение, не изолированная причинная проверка. Кроме величины эффекта полезно смотреть, какие дополнительные пути входа способны обойти вмешательство.

Источник. Оригинальное название: Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons. arXiv:2610.28189; полный текст PDF.