Not all generalisation failures can be bought back: four boundaries in affective audio modelling

Статья систематизирует четыре разных провала переноса при оценке эмоций по звуку: между наборами одного типа, между музыкой и окружающими звуками, от оценок слушателя к физиологии и между людьми. Главный вывод — дополнительная разметка часто возвращает часть качества внутри домена, но не исправляет смену самого измеряемого явления.

Метод. На DEAM, PMEmo, Soundtracks и Emo-Soundscapes сравниваются ручные признаки, AST, MERT, Wav2Vec2 и CLAP для валентности и возбуждения. Качество нормируется на надёжность человеческих оценок, чтобы отделить ошибку модели от шума разметки. Затем авторы добавляют от 10 до 200 целевых меток, пробуют согласование корреляций и подпространств и проверяют перенос на три физиологических корпуса.

Результаты. Внутри набора корреляция лежит примерно от 0,72 до 0,82; на PMEmo значение 0,817 соответствует 84,4% достижимого корреляционного потолка. Для AST средняя корреляция меняется с 0,794 внутри набора до 0,619 между наборами одного типа и 0,125 между музыкой и окружающими звуками. У MERT междоменное значение всего 0,038. Лучший физиологический результат достигает лишь 30,6% собственного потолка: корреляция валентности с кожно-гальванической реакцией равна 0,117 при потолке 0,382.

Ограничения. Окружающие звуки представлены фактически одним основным корпусом, а CLAP частично загрязнён пересечением с Freesound и исключён из центрального вывода. Оценка потолка может быть смещена выбором лучшей модели. Физиологические корпуса малы и шумны, а несколько опытов с вмешательствами содержат лишь четыре условия.

Фишка из статьи. Кривая бюджета разметки показывает убывающую отдачу: первые сто целевых примеров возвращают 64% разрыва между исходным и целевым доменом, а следующие сто добавляют только пять процентных пунктов. Это практическая граница «докупить разметку» — после неё проблема всё меньше похожа на нехватку данных.

Как это читать: небольшая калибровочная выборка действительно полезна при близких наборах, но насыщение наступает рано. Почти нулевая корреляция между типами звука и слабая связь с физиологией требуют менять постановку и целевую переменную, а не просто продолжать разметку.