Оценка разборчивости слов в музыке с объединением речевых и музыкальных кодировщиков

Разборчивость слов в песне не совпадает с качеством звука: мелодия, растяжение слогов и сопровождение нарушают предпосылки обычных речевых оценок. Авторы объединяют WavLM, MuQ, Whisper и T5, чтобы предсказывать человеческое понимание слов. Работа показывает, насколько велик вклад распознанного текста, и почему режим с известными словами нужно отделять от режима без них.

Метод. WavLM сопоставляет покадровые признаки пения с T5-текстом через перекрёстное внимание, MuQ добавляет глобальное музыкальное описание из ранних и поздних слоёв. Левый и правый каналы обрабатываются отдельно, оценки объединяются обучаемыми весами. При известных словах дополнительно подаётся WER нескольких Whisper относительно настоящего текста. В режиме без эталонных слов их заменяет распознавание Whisper Large; описание указывает использование исходного необработанного аудио, поэтому это не автоматически оценщик произвольного единственного обработанного файла.

Результаты. На Cadenza в режиме с текстом проверочный RMSE равен 26,61 против 29,32 у Whisper-ориентира, относительное уменьшение около 9,2%. На окончательной части 26,54 против 29,08, корреляция 0,67 против 0,58. Без эталонных слов RMSE составляет 29,68 против 34,89 у STOI, корреляция 0,57 против 0,21. Это ошибки предсказания разборчивости на шкале данного набора, не WER синтезированной песни и не MOS естественности. Все кодировщики вместе содержат около 3,3B параметров, обучаемое объединение около 6M.

Ограничения. Короткая работа проверяет один набор с моделированием отсутствия, слабой и умеренной потери слуха. Нет подробного анализа новых языков, певцов и музыкальных стилей, доверительных интервалов выигрыша или измерений времени и памяти. Малое число обучаемых параметров не делает вычисление четырёх крупных моделей дешёвым. Преимущество варианта с настоящими словами нельзя непосредственно переносить на условия, где слов и исходного аудио нет. Корреляция с оценкой слушателей здесь не означает клинически установленную разборчивость для конкретного человека.

Фишка из статьи. Таблица 1 содержит показательный отрицательный контроль: удаление Whisper ухудшает систему сильнее, чем удаление одного из остальных кодировщиков. Ниже окончательная evaluation-часть в режиме с известными словами.

Как это читать: без распознавательной подсказки сложное объединение становится хуже простого ориентира. Акустические и музыкальные признаки дают дополнительную пользу, но не заменяют текстовую информацию. Это важно для переноса: на языке или стиле пения, где Whisper ошибается систематически, составные оценки могут терять больше, чем предполагает их архитектурное разнообразие.

Источник. Оригинальное название: A Unified Multi-Encoder Framework for Music Lyric Intelligibility Assessment: Bridging Invasive and Non-Invasive Paradigms. arXiv:2611.07485; полный текст PDF; DOI: 10.1109/ICASSP55912.2026.11462827