Оценка качества аудио и усилий при прослушивании по физиологическим сигналам

Одинаковая субъективная оценка звука может сопровождаться разной нагрузкой на слушателя. Авторы одновременно записывают лабораторную и носимую ЭЭГ, оптические показатели кровоснабжения и движение глаз, пытаясь отделить качество аудио от усилий его понимания. Получается проверка осуществимости измерения, а не готовая замена MOS или персональный регулятор слухового аппарата.

Метод. Тридцать участников слушают 144 записи примерно по десять секунд: 102 речевые и 42 музыкальные, с кодековыми искажениями, шумом, реверберацией и потерями пакетов. Уровень нормализован; параллельная зрительная нагрузка рандомизирована. Из четырёхканальной Muse EEG, fNIRS, глазных сигналов и 32-канальной лабораторной EEG извлекаются спектральные, ковариационные и временные признаки. Вложенная проверка выбирает семейство классификатора или регрессора без использования внешнего теста. LOSO исключает слушателя полностью, WS оставляет его часть проб в обучении.

Результаты. На полных доступных данных носимые датчики различают крайние уровни качества у новых слушателей со сбалансированной точностью 0,60–0,65 при случайном уровне 0,50. Корреляция с корпусным MOS достигает 0,38 для Muse EEG и 0,36 для fNIRS, ошибка около 1,2 балла. Для субъективного усилия лучший регрессионный результат движения глаз: r=0,37 после калибровки по слушателю, но 0,14 при LOSO без значимости после поправки. Оценка усилия коррелирует с качеством на −0,57, поэтому эти задачи нельзя считать независимыми.

Ограничения. Аудиоклипы повторяются между обучением и тестом: перенос на новую запись не проверен. Качество предсказывается по среднему MOS корпуса, а не личному ранжированию участника. Объединённая WS-корреляция может опираться на различия между людьми. Доступные выборки разных датчиков неодинаковы; плохая лабораторная EEG не доказывает превосходства дешёвого оборудования. У fNIRS нет короткого опорного канала для удаления системного кровоснабжения, а зрительное задание может влиять на зрачок.

Фишка из статьи. Таблица 2 показывает, как меняется вывод при честном сравнении одинаковых проб. Ниже корреляция с пятибалльным корпусным MOS для индивидуально калибруемого режима WS; matched оставляет только записи, имеющиеся у всех четырёх модальностей.

Как это читать: на общей небольшой выборке 12 слушателей и 573 проб статистически значимой WS-связью остаётся fNIRS, а ранжирование датчиков меняется. Авторы также находят, что обучение на среднем MOS сжимает разброс внутри его групп на 55–94%, но ухудшает индивидуальный порядок клипов. Декодировать общую шкалу качества и восстановить вкус конкретного человека пока разные достижения.

Источник. Оригинальное название: Physiology-Informed Audio Quality and Listening Effort Estimation. arXiv:2610.36865; полный текст PDF.