MMAS: непрерывная оценка эмоций музыки с разделением межкомпозиционной и временной точности

Высокая корреляция эмоциональных оценок по всем кадрам музыки может скрывать почти неподвижный прогноз внутри каждой композиции. Работа MMAS разбирает этот эффект и меняет обучение так, чтобы модель отслеживала локальные изменения возбуждения и эмоциональной окраски. Особенно полезно, что улучшение временной динамики сопровождается явно показанным ухудшением обычной сводной метрики.

Метод. Первый вход содержит 768-мерные признаки замороженного MERT-v1-95M, второй десять символических признаков, полученных автоматической транскрипцией того же аудио. Две временные свёрточные ветви объединяются перекрёстным вниманием; к MSE добавляется взвешенная потеря 1−CCC внутри окон. CCC учитывает не только корреляцию формы, но и несовпадение среднего и масштаба. Обе ветви происходят из аудиосигнала, поэтому речь не идёт о наличии независимой нотной разметки при применении. Разделение и пятикратная проверка организованы по композициям.

Результаты. В контролируемой DEAM-проверке на 1764 композициях полная модель при λ = 0,5 даёт общую корреляцию возбуждения 0,819 и среднюю внутрикомпозиционную 0,363. Ridge на тех же признаках достигает более высокой общей 0,829, но внутрикомпозиционной лишь 0,126. Для эмоциональной окраски соответствующие значения полной модели 0,681 и 0,206. Доверительные интервалы отдельно калибруются split-conformal: при целевом покрытии 95% фактическое равно 93,7% для возбуждения и 90,0% для окраски.

Ограничения. Эмоциональные траектории субъективны, а нотные признаки наследуют ошибки транскрипции плотной музыки. Нельзя выдавать сводную корреляцию за качество динамики или сравнивать числа из разных протоколов как единую таблицу лидеров. Калибровочные кадры внутри песни зависимы, и наблюдаемое недопокрытие означает, что 95-процентная гарантия для новых песен не подтверждена. Интервалы широки, порядка 0,43 нормированной шкалы, а не тонкая оценка каждого момента.

Фишка из статьи. Таблица 7 меняет только вес временной согласованности при одинаковых признаках и разбиениях. Наибольший практический сдвиг происходит уже при небольшом ненулевом λ; дальнейшее увеличение имеет убывающую отдачу.

Как это читать: потеря 0,008 общей корреляции в первом шаге даёт 0,150 внутрикомпозиционной. Между λ = 0,25 и 1,0 прирост последней уже всего 0,005. Это пример того, как выбор функции потерь меняет саму задачу: система, хорошо различающая в среднем спокойные и напряжённые песни, не обязательно хорошо сопровождает развитие одной песни.

Источник. Оригинальное название: Concordance-Optimal Continuous Music Emotion Estimation: Variance Decomposition, Dual-Branch Temporal Fusion, and Conformal Prediction Intervals. arXiv:2611.08966; полный текст PDF.