Диаризация Паралингвистика Оценка вовлечённости
arXiv cs.SD

Помогает ли разделение говорящих оценивать вовлечённость ребёнка по речи?

ArXiv:2611.24794

В домашней записи голос взрослого легко принять за признак состояния ребёнка. Работа проверяет, помогает ли диаризация акустической оценке вовлечённости детей с аутизмом во взаимодействие с социальным роботом. Разделение голосов немного улучшает средний AUROC, но на семи детях статистически убедительного общего выигрыша не получено.

Метод. Материал — 21 час домашних занятий семи детей 3–7 лет с присутствием взрослого. Эталон вовлечённости получен из визуального поведения, а не из диагноза. Авторы выбирают pyannote 3.1, вручную сопоставляют найденные голоса ребёнку и взрослому, удаляют перекрытия и посторонних людей. Оставшийся звук делится на секундные интервалы; фрагменты короче 60 мс отбрасываются. К 88 признакам eGeMAPS добавляются метка говорящего и длительность. Семь классификаторов обучаются с весами классов. Проверочная сессия хронологически следует за обучающими сессиями этого ребёнка; в обучении есть также данные остальных участников. Это персонализированный прогноз будущих занятий, не проверка на совершенно новом ребёнке.

Диаризация отделяет признаки ребёнка от речи сопровождающего. Домашние занятия с роботом: 21 час, семь детей; взрослый рядом. pyannote 3.1: Новое: временные интервалы разных голосов. Роли вручную, без перекрытий: Новое: ребёнок / взрослый; другие голоса убраны. 1 с → 88 eGeMAPS: Добавлены длительность и метка говорящего. Персональное обучение: Ранние сессии + данные остальных детей. Следующая сессия ребёнка: Вовлечён / не вовлечён; AUROC около 0,60.
Схема по материалам статьи, рисунок 1, разделы 3–4 и таблица 3. Роли ребёнка и взрослого назначены вручную после pyannote. Удаление перекрытий меняет состав и число примеров, не только признак говорящего. При проверке используется следующая сессия знакомого ребёнка, не полностью новый участник. Новое — разделение акустических признаков по голосам; внутренние классификаторы объединены. Это вовлечённость, не диагностика аутизма.

Результаты. На размеченной части средний DER pyannote равен 29,99±9,31%; перекрывающаяся речь из подсчёта исключена. Лучшие модели вовлечённости имеют AUROC лишь 0,594–0,610. После диаризации AUROC увеличивается у нейросети, SVM и градиентного бустинга, но p одностороннего критерия Wilcoxon равны 0,41, 0,47 и 0,23. Значимо растёт F1 вовлечённого класса у SVM, не невовлечённого класса. Отдельный анализ показывает, что у пяти детей признаки собственной речи информативнее взрослой, у двух — наоборот.

Ограничения. Семь участников не дают основания для клинических обобщений. Диаризация здесь не полностью автоматическая: роли голосов назначает человек. Удаление перекрытий существенно сокращает материал и меняет состав примеров, поэтому сравнение с исходной записью не является чистой абляцией одного признака на одинаковых данных. Невовлечённость представлена хуже, чем вовлечённость. Никаких выводов о диагностике аутизма, эффективности терапии или причинном влиянии речи взрослого эти оценки не подтверждают.

Фишка из статьи. В таблице 3 один и тот же прогноз состояния ребёнка строится отдельно по его голосу и по голосу взрослого. Различие между участниками важнее средней прибавки. Ниже приведены четыре характерных примера AUROC нейросети, а не точность определения личности.

УчастникПо речи ребёнкаПо речи взрослогоЧей сигнал информативнее
p50,6120,615Практически равны
p70,6340,624Ребёнка
p170,5720,609Взрослого
p180,6220,515Ребёнка

Как это читать: голос сопровождающего иногда косвенно отражает состояние занятия, например через подсказки и активное участие. Это не делает его прямым измерителем вовлечённости ребёнка. Для переносимого оценщика нужны проверки зависимости от конкретной семьи, ручного назначения ролей и потери сложных участков с одновременной речью.

Источник. Оригинальное название: Exploring Speaker-Aware Engagement Modeling for Children with Autism Spectrum Disorder. arXiv:2611.24794; полный текст PDF.

Оригинальная статья на arXiv