Уточнение диагностических меток по нейропсихологическим тестам для оценки когнитивного состояния по речи

Работа исследует качество меток в речевых корпусах когнитивного состояния, где исходное самообращение или неполное клиническое подтверждение могут смешивать группы. Вместо усложнения классификатора авторы пересматривают обучающие метки по оценкам памяти, внимания и исполнительных функций. Практическая ценность — в проверке того, насколько результат зависит от протокола получения целевой разметки.

Метод. В CognoMemory анализируются 138 часов разговорной речи 720 участников. Сравниваются внешние клинические пороги, середины распределений проверенных групп и отклонения от нормативной здоровой группы. Речевые транскрипции классифицируют BART, RoBERTa и DistilBERT; часть вариантов использует дополнительные клинические сведения MoCA. Внутренняя проверка проводится на 150 клинически подтверждённых участниках, внешняя — на Pitt, ADReSS и PROCESS-2.

Результаты. Для отдельных конфигураций внутренней двоичной задачи F1 растёт с 0,70 до 0,83, а при объединении вопросов — с 0,72 до 0,83. Это разные исходные условия, не единое среднее улучшение. В сводной таблице 2 нормативная калибровка по памяти Cogno Z MEM даёт среднее изменение F1 +0,083 для двоичного и +0,069 для трёхклассового внутреннего испытания. На внешних двоичных наборах прирост составляет +0,040, +0,050 и +0,090 соответственно.

Ограничения. Новые метки остаются косвенными приближениями, не заменяющими диагноз. Пороги чувствительны к возрасту, образованию и способу набора участников; классы несбалансированы, а участники с деменцией в среднем старше. Классификаторы работают по текстовому представлению речи, поэтому результаты нельзя приписывать новой акустической модели. Наличие дополнительных клинических тестов при создании меток также необходимо учитывать при сравнении с системами, имеющими только аудио.

Фишка из статьи. Не любой клинически мотивированный порог улучшает перенос. Таблица 2 показывает разный знак эффекта двух способов калибровки по памяти на внешних данных.

Как это читать: важно не просто заменить сомнительную разметку «более клинической», а проверить перенос конкретной границы на независимой группе. Внешние пороги могут оказаться хуже исходных из-за различия распределений. Увеличение F1 при перекалибровке — свидетельство чувствительности к целевым меткам, не доказательство готовности автоматического медицинского заключения.

Источник. Оригинальное название: Improved automatic speech-based cognitive assessment using neuropsychologically calibrated diagnostic labels. arXiv:2610.28288; полный текст PDF.