CoupleFlow: декодирование слухового внимания по синхронной связи речи и активности мозга

CoupleFlow определяет, какой из доступных голосов слушает человек, через временную связь речевой огибающей и нейросигнала. Авторы специально лишают модель возможности угадывать ответ по громкости, личности диктора или особенностям сеанса. Главная ценность работы состоит в контролях: высокая точность при разрушенной связи «звук — мозг» должна считаться признаком обходного решения, а не успехом декодирования внимания.

Метод. Нейронная ветвь с небольшими поправками для слушателя, пространственными фильтрами и окном задержек кодирует ЭЭГ; общая акустическая ветвь кодирует каждого кандидата. Их объединяет сумма корреляций по времени с удалённым средним. Дополнительная flow-matching-голова сравнивает условную и безусловную правдоподобность огибающей: вычитание акустического приора устраняет предпочтение просто типичной речи. Девять корпусов ЭЭГ/МЭГ обрабатываются общим конвейером, содержимое речи не пересекается между обучением и тестом. Контроли используют перестановку ЭЭГ между опытами, временной сдвиг и несоответствующие фрагменты того же диктора.

Результаты. На KU Leuven при окне 5 с точность основного декодера составляет 72,7% против 65,9% у сильнейшего сравнения, при 20 с 86,7 против 78,2%. На Broderick выигрыша почти нет, 63,6 против 63,7% при 5 с. Для четырёх кандидатов в комнате MAESTRO после исправления синхронизации получены 71,2% по целому опыту у известных слушателей и 56,9% у новых. Случайный уровень здесь 25%, а не 50%. Пятисекундные нулевые контроли остаются в пределах 24,8–25,3%.

Ограничения. Нужны доступные раздельные огибающие голосов и достаточно информативный нейросигнал: это не распознавание произвольных мыслей и не готовый слуховой аппарат. Оптимальность отношения правдоподобий доказана при зависимости записи только от выбранного голоса, хотя игнорируемая речь тоже слабо отслеживается. Часть опытов использует опубликованные огибающие вместо исходного звука. Перенос на новых слушателей заметно хуже; соответствие контрольным предпосылкам необходимо проверять отдельно для каждого корпуса. Закон накопления свидетельств основан на статистических приближениях.

Фишка из статьи. Таблица 4 показывает, что временная ошибка может улучшать красивый итоговый результат. Метки выпуска MAESTRO опережают реальное воспроизведение на 0,78 с; авторы исправляют их без использования меток внимания. Значения ниже сверены по оригинальной таблице.

Как это читать: более низкие числа после исправления убедительнее, потому что окно действительно следует за звуком. Смешивать точность по длинному опыту и решение за пять секунд нельзя. Оценённое для ЭЭГ время достижения 95% варьирует примерно от 7 до 170 с, тогда как для МЭГ около 2,6 с; ограничителем быстроты остаётся качество сигнала, а не только мощность классификатора.

Источник. Оригинальное название: CoupleFlow: Null-Calibrated Auditory Attention Decoding With Time-Locked Brain-Speech Coupling and Flow-Matching Likelihood Ratios. arXiv:2610.32950; полный текст PDF.