Паралингвистика Акустические признаки Многоязычная речь
arXiv cs.AI

Как язык и речевое задание меняют акустические признаки когнитивных нарушений

ArXiv:2611.17710

Один и тот же акустический признак может быть информативным при чтении и почти бесполезным в свободной беседе. Работа сравнивает пять корпусов на четырёх языках и показывает, почему нельзя без проверки объединять темп, паузы и высоту тона в универсальный показатель. Главный интерес здесь в зависимости признаков от речевого задания, а не в обещании готовой диагностики по голосу.

Метод. После диаризации отделяют речь участника от интервьюера и сохраняют временные метки пауз. Извлекают длительности, темп, eGeMAPS, признаки pyAudioAnalysis и Praat. Затем применяют порог KS ≥0,1, экспертное исключение формантных и сегментных мер, ненадёжных без фонетического выравнивания, и RFECV с Random Forest. В каждом корпусе проводят 20 стратифицированных разбиений 80/20; RFECV выполняется внутри обучающей части. Признак называют устойчивым, если он выбран хотя бы в 80% запусков. Сравнивают английское и китайское описание картинки, испанское чтение, английские воспоминания и японскую беседу.

Проверка признаков отдельно по корпусам и заданиям. 5 корпусов, 4 языка: Чтение, описание картинки, воспоминания и беседа. Диаризация: Только речь участника; временные метки пауз отдельно. Акустические признаки: Темп, паузы, F0, спектр и энергия. KS + экспертный отбор: Новое: исключение ненадёжных сегментных и формантных мер. RFECV + Random Forest: 20 разбиений 80/20; отбор RFECV только на обучении. Устойчивость признаков: Новое: частота выбора ≥80%; сравнение задач, не объединение.
Схема по материалам статьи, рисунок 1, раздел III и таблицы III–IV. Это исследовательская классификация внутри пяти корпусов, не доказанный перенос на новый язык и не клиническая диагностика. RFECV выполняется на обучающей части; отдельная вложенность KS-фильтра описана недостаточно явно. Детали классификатора опущены.

Результаты. Сокращение признаков почти не меняет ROC-AUC: ADReSSo 0,74 → 0,76; Ivanova 0,77 → 0,77; Chou 0,66 → 0,67; PROMPT 0,79 → 0,79; ADRC 0,65 → 0,67. Временные признаки сохраняются во всех корпусах, но темп особенно полезен при заданном внешнем содержании, а в беседе и воспоминаниях больше мешает индивидуальная вариативность. Для китайского и японского сильнее представлены chroma-признаки; в английских и испанском наборах заметнее динамика F0.

Ограничения. Эксперименты выполнены внутри корпусов, а не по схеме обучения на одном языке и проверки на другом. Язык, задание, состав участников и канал записи частично смешаны, поэтому причинный эффект языка не выделен. Вложенность KS-отбора в разбиения описана менее явно, чем вложенность RFECV. В таблицах также различается исходная размерность ADRC; её не следует трактовать как однозначную спецификацию. Полученные AUC не устанавливают клиническую чувствительность или пригодность для самостоятельного диагноза.

Фишка из статьи. Таблица III показывает, сколько признаков можно убрать без видимого выигрыша или проигрыша по средней AUC. Это полезный отрицательный результат против идеи, что более широкий набор акустических мер автоматически надёжнее. Ниже сопоставлены полный набор и KS + эксперт + RFECV; интервалы относятся к повторным разбиениям, а не к внешней клинической проверке.

КорпусПолный набор: число / AUCПосле отбора: число / AUC
ADReSSo255 / 0,74142 / 0,76
Ivanova255 / 0,77114 / 0,77
Chou255 / 0,66106 / 0,67
PROMPT262 / 0,79101 / 0,79

Как это читать: почти 60% признаков PROMPT можно убрать при той же средней AUC. Но компактный набор в одном корпусе не становится автоматически переносимым: для такого вывода нужен независимый межкорпусный тест с контролем задания и канала.

Источник. Оригинальное название: Cross-Linguistic Acoustic Biomarkers of Cognitive Impairment Across Interactive and Single-Speaker Speech Tasks. arXiv:2611.17710; полный текст PDF.

Оригинальная статья на arXiv