FaiSonic MMD: корпус популярной музыки с общей временной разметкой структуры, гармонии и ритма
FaiSonic MMD объединяет музыкальные фразы, разделы формы, аккорды и ритм на временной оси одной версии записи. Такая согласованная разметка позволяет изучать не только отдельные задачи, но и ошибки их совместного решения: граница фразы не обязана совпадать со сменой раздела или аккорда.
Метод. Корпус включает 500 популярных песен, по 250 китайских и английских, примерно 32,86 часа. Один специалист размечает все слои, второй прослушивает и проверяет их; затем проходят автоматические проверки времени и непротиворечивости. Публикуются метаданные, разметка и мел-спектрограммы с параметрами для реконструкции, но восстановленная вокодером волна не гарантированно совпадает с оригиналом. Базовая модель объединяет замороженные MuQ и MusicFM, общие временные признаки и ветви разных разрешений; структурное декодирование использует динамическое программирование и Viterbi.
Результаты. На разделении 400/50/50 песен базовая модель получает F1 границ фраз 62,90% при допуске 0,5 с и 79,18% при 3 с. Для границ разделов: 68,83% и 73,77%; точность их функции 73,33%. F1 долей и сильных долей составляет 86,18% и 81,40%, аккордовый Majmin 75,71%. При расширении обучения дополнительной авторской коллекцией до 2350 песен Majmin растёт до 80,94%, но это уже не эксперимент только на открытых 500 песнях.
Ограничения. Небольшой жанровый и языковой охват, 50 тестовых песен, один случайный запуск базового эксперимента. Нет полной проверки переноса между корпусами. Гармонические метрики используют заданное отображение качеств аккордов и исключают часть неизвестных меток; разные допуски границ нельзя сравнивать как одну точность. Совместное обучение всех задач само по себе ещё не доказывает преимущество над раздельным.
Фишка из статьи. Существенная деталь находится в происхождении временных меток: тактовые начала проверены человеком, но промежуточные доли получены равномерным делением интервала. Поэтому четыре слоя не следует называть одинаково прямой ручной разметкой каждого события.
| Слой | Конкретный объём или способ | Что важно для оценки |
|---|---|---|
| Музыкальные фразы | 9023 интервала; медиана 12,16 с | Границы отдельны от разделов |
| Разделы формы | 4625 интервалов | Есть функция и время |
| Аккорды | 50 693 интервала, 34 качества | Обучающий словарь укрупняется |
| Доли | Деление между ручными тактовыми началами | Не независимая ручная метка каждой доли |
Как это читать: Общая ось устраняет путаницу версий записи, но не делает все метки одинаково точными. Равномерная интерполяция может сглаживать реальную временную выразительность исполнения. Для задач тонкой ритмики стоит отдельно проверять такие участки, а не трактовать F1 с допуском 70 мс как оценку любой детали микровремени.
Источник. Оригинальное название: FaiSonic MMD: A popular music dataset with temporally aligned multidimensional annotations for multitask music analysis. arXiv:2611.13503; полный текст PDF.