Носимый аудиодатчик для анализа общения, стресса и продуктивности при гибридной работе

Чтобы оценивать речевую нагрузку работника, необязательно сохранять полную запись разговора, но нужно отличать его речь от чужой по сильно сокращённым признакам. Авторы передают знания большого речевого учителя компактному ResNet, работающему с 12 MFCC, и используют результат в четырёхмесячном наблюдении. Интересна именно связка ограниченного акустического входа и дистилляции, а не обещание определять стресс по голосу.

Метод. Смартфон Atom с openSMILE извлекает MFCC 1–12, основную частоту и громкость в 20-секундных окнах раз в минуту. Офлайн-классификатор относит кадры к речи владельца датчика, другим говорящим либо тишине и шуму; это не произвольная идентификация всех собеседников. Учителя Whisper и WavLM адаптируются LoRA с объединением скрытых слоёв и свёрточной выходной головой. Лучший учитель Whisper-Large замораживается; ResNet обучается по меткам и KL-расхождению с его выходами, с весом дистилляции 2. Три открытых корпуса объединены для обучения, добавлен офисный шум при SNR 0–30 дБ.

Результаты. DER на MMCSG уменьшается с 16,0 до 14,1%, на ICSI с 24,6 до 23,5%, на EasyCom с 31,8 до 29,0%. До Whisper-Large с 7,3/8,4/22,6% остаётся заметный разрыв. В полевом исследовании из 19 набранных участников анализируются 16, носивших датчик больше десяти рабочих дней; среднее фактическое ношение 39,6 дня. В модели со случайным эффектом участника офис связан с большей речевой нагрузкой, а офисная нагрузка со стрессом и меньшей самооценкой продуктивности. Это наблюдаемые связи, не доказательство причинного влияния разговоров.

Ограничения. Диаризация выполняется офлайн, хотя акустические признаки извлекаются на устройстве. Не приведены число параметров, RTF и полный энергетический бюджет; компактность не подтверждена измерением всего тракта. Выборка одного учреждения мала, стресс и продуктивность оценивают сами участники. В рабочих записях нет ручной проверки диаризации, поэтому перенос с открытых корпусов неизвестен. Двадцать секунд в минуту не являются непрерывным мониторингом. Отказ от исходной волны снижает объём сохраняемых данных, но статья не доказывает невозможность восстановления содержания или личности из признаков.

Фишка из статьи. Таблица II показывает, что остаточная ошибка ученика определяется преимущественно нахождением речевых участков, а не путаницей между владельцем и собеседниками. Здесь результаты Distilled-ResNet: VAD означает ошибку речевой активности, SC путаницу говорящих; значения в процентах.

Как это читать: на ICSI 22,5 из 23,5 пункта DER связаны с VAD: улучшать только распознавание владельца недостаточно. В полевом анализе авторы дополнительно оставляют кадры с F0 больше нуля, чтобы уменьшить ложные срабатывания, но тем самым исключают и неголосовые участки настоящей речи. Для оценки минут общения важно проверять смещение итоговой длительности, а не только DER на тестовом корпусе. Оценка активности по высоте и интенсивности голоса также не равна независимой оценке стресса.

Источник. Оригинальное название: Understanding Everyday Communication Patterns, Stress, and Productivity in Hybrid Work through Egocentric Wearable Audio Sensing. arXiv:2610.37270; полный текст PDF.