Сосредоточенное причинное влияние и распределённая информация: решения аудиоязыковых моделей о когнитивных нарушениях

Небольшой набор нейронов способен изменить ответ речевой модели о когнитивном состоянии, но это не означает, что именно в нём сосредоточена вся полезная информация. Авторы разделяют причинное управление решением и возможность извлечь диагностический признак из внутренних состояний. Самый важный вывод работы методологический: сильный эффект выключения нейронов часто означает сдвиг предпочтения класса, а не потерю различимости записей.

Метод. В восьми открытых аудиоязыковых моделях исследуются описания картинки Cookie Theft из Pitt и PROCESS-2: звук, транскрипция и их сочетания. По уверенно правильным ответам отбирают 0,5% MLP-нейронов с максимальной разницей частоты активации между классами. Их обнуляют и сравнивают с 20 случайными масками того же размера и распределения по слоям, а также с контролем по активности. Отдельные вмешательства ограничиваются позициями звука, текста или шаблона вопроса. Для проверки доступной информации обучается линейное считывание замороженных активаций.

Результаты. Критерии пригодности к выделению масок проходят пять моделей; значительное сосредоточенное влияние обнаружено в трёх. Семь из 24 масок Pitt значимы по обоим основным критериям. Четыре наиболее сильные меняют логарифмические шансы на 1,6–2,6 против не более 0,17 в среднем у случайного контроля. Три из четырёх переносятся на PROCESS-2. Линейные считыватели достигают AUC 0,92–0,97 против 0,67–0,84 у прямых ответов, но случайные и все нейроны дают сопоставимые результаты; текстовый TF-IDF уже достигает 0,91.

Ограничения. Это исследование поведения моделей, не клиническая валидация и не средство постановки диагноза. Корпуса англоязычные, задача и запрос фиксированы, возможны особенности транскрипций и записи. Авторов интересуют групповые вмешательства, не отдельные незаменимые «нейроны болезни». Отбор по успешным ответам и критериям пригодности ограничивает обобщение на все восемь моделей. Перенос вмешательства между корпусами не доказывает переноса точности обученного классификатора.

Фишка из статьи. Таблица 1 раскладывает эффект сильных масок: насколько изменилось ранжирование и какая часть изменения объясняется одним общим смещением. AUC измеряет различимость, а не число переключившихся ответов при фиксированном пороге.

Как это читать: много ответов может поменяться при почти сохранённом порядке записей. Следовательно, маска управляет в значительной степени направлением решения, а не обязательно самим извлечением признаков нарушения. Совпадение качества линейных считывателей со случайными нейронами дополнительно запрещает вывод, будто причинно выделенная группа является уникальным хранилищем диагностической информации.

Источник. Оригинальное название: Concentrated Causal Influence, Distributed Diagnostic Information: Cognitive Impairment Decisions in Large Audio-Language Models. arXiv:2610.32061; полный текст PDF.