Помогает ли разделение говорящих оценивать вовлечённость ребёнка по речи?
В домашней записи голос взрослого легко принять за признак состояния ребёнка. Работа проверяет, помогает ли диаризация акустической оценке вовлечённости детей с аутизмом во взаимодействие с социальным роботом. Разделение голосов немного улучшает средний AUROC, но на семи детях статистически убедительного общего выигрыша не получено.
Метод. Материал — 21 час домашних занятий семи детей 3–7 лет с присутствием взрослого. Эталон вовлечённости получен из визуального поведения, а не из диагноза. Авторы выбирают pyannote 3.1, вручную сопоставляют найденные голоса ребёнку и взрослому, удаляют перекрытия и посторонних людей. Оставшийся звук делится на секундные интервалы; фрагменты короче 60 мс отбрасываются. К 88 признакам eGeMAPS добавляются метка говорящего и длительность. Семь классификаторов обучаются с весами классов. Проверочная сессия хронологически следует за обучающими сессиями этого ребёнка; в обучении есть также данные остальных участников. Это персонализированный прогноз будущих занятий, не проверка на совершенно новом ребёнке.

Результаты. На размеченной части средний DER pyannote равен 29,99±9,31%; перекрывающаяся речь из подсчёта исключена. Лучшие модели вовлечённости имеют AUROC лишь 0,594–0,610. После диаризации AUROC увеличивается у нейросети, SVM и градиентного бустинга, но p одностороннего критерия Wilcoxon равны 0,41, 0,47 и 0,23. Значимо растёт F1 вовлечённого класса у SVM, не невовлечённого класса. Отдельный анализ показывает, что у пяти детей признаки собственной речи информативнее взрослой, у двух — наоборот.
Ограничения. Семь участников не дают основания для клинических обобщений. Диаризация здесь не полностью автоматическая: роли голосов назначает человек. Удаление перекрытий существенно сокращает материал и меняет состав примеров, поэтому сравнение с исходной записью не является чистой абляцией одного признака на одинаковых данных. Невовлечённость представлена хуже, чем вовлечённость. Никаких выводов о диагностике аутизма, эффективности терапии или причинном влиянии речи взрослого эти оценки не подтверждают.
Фишка из статьи. В таблице 3 один и тот же прогноз состояния ребёнка строится отдельно по его голосу и по голосу взрослого. Различие между участниками важнее средней прибавки. Ниже приведены четыре характерных примера AUROC нейросети, а не точность определения личности.
| Участник | По речи ребёнка | По речи взрослого | Чей сигнал информативнее |
|---|---|---|---|
| p5 | 0,612 | 0,615 | Практически равны |
| p7 | 0,634 | 0,624 | Ребёнка |
| p17 | 0,572 | 0,609 | Взрослого |
| p18 | 0,622 | 0,515 | Ребёнка |
Как это читать: голос сопровождающего иногда косвенно отражает состояние занятия, например через подсказки и активное участие. Это не делает его прямым измерителем вовлечённости ребёнка. Для переносимого оценщика нужны проверки зависимости от конкретной семьи, ручного назначения ролей и потери сложных участков с одновременной речью.
Источник. Оригинальное название: Exploring Speaker-Aware Engagement Modeling for Children with Autism Spectrum Disorder. arXiv:2611.24794; полный текст PDF.