Музыкальный анализ Корпуса Выравнивание
arXiv cs.SD

FaiSonic MMD: корпус популярной музыки с общей временной разметкой структуры, гармонии и ритма

ArXiv:2611.13503

FaiSonic MMD объединяет музыкальные фразы, разделы формы, аккорды и ритм на временной оси одной версии записи. Такая согласованная разметка позволяет изучать не только отдельные задачи, но и ошибки их совместного решения: граница фразы не обязана совпадать со сменой раздела или аккорда.

Метод. Корпус включает 500 популярных песен, по 250 китайских и английских, примерно 32,86 часа. Один специалист размечает все слои, второй прослушивает и проверяет их; затем проходят автоматические проверки времени и непротиворечивости. Публикуются метаданные, разметка и мел-спектрограммы с параметрами для реконструкции, но восстановленная вокодером волна не гарантированно совпадает с оригиналом. Базовая модель объединяет замороженные MuQ и MusicFM, общие временные признаки и ветви разных разрешений; структурное декодирование использует динамическое программирование и Viterbi.

Результаты. На разделении 400/50/50 песен базовая модель получает F1 границ фраз 62,90% при допуске 0,5 с и 79,18% при 3 с. Для границ разделов: 68,83% и 73,77%; точность их функции 73,33%. F1 долей и сильных долей составляет 86,18% и 81,40%, аккордовый Majmin 75,71%. При расширении обучения дополнительной авторской коллекцией до 2350 песен Majmin растёт до 80,94%, но это уже не эксперимент только на открытых 500 песнях.

Ограничения. Небольшой жанровый и языковой охват, 50 тестовых песен, один случайный запуск базового эксперимента. Нет полной проверки переноса между корпусами. Гармонические метрики используют заданное отображение качеств аккордов и исключают часть неизвестных меток; разные допуски границ нельзя сравнивать как одну точность. Совместное обучение всех задач само по себе ещё не доказывает преимущество над раздельным.

Фишка из статьи. Существенная деталь находится в происхождении временных меток: тактовые начала проверены человеком, но промежуточные доли получены равномерным делением интервала. Поэтому четыре слоя не следует называть одинаково прямой ручной разметкой каждого события.

СлойКонкретный объём или способЧто важно для оценки
Музыкальные фразы9023 интервала; медиана 12,16 сГраницы отдельны от разделов
Разделы формы4625 интерваловЕсть функция и время
Аккорды50 693 интервала, 34 качестваОбучающий словарь укрупняется
ДолиДеление между ручными тактовыми началамиНе независимая ручная метка каждой доли

Как это читать: Общая ось устраняет путаницу версий записи, но не делает все метки одинаково точными. Равномерная интерполяция может сглаживать реальную временную выразительность исполнения. Для задач тонкой ритмики стоит отдельно проверять такие участки, а не трактовать F1 с допуском 70 мс как оценку любой детали микровремени.

Источник. Оригинальное название: FaiSonic MMD: A popular music dataset with temporally aligned multidimensional annotations for multitask music analysis. arXiv:2611.13503; полный текст PDF.

Оригинальная статья на arXiv