Выравнивание Оценка качества Музыкальный анализ
arXiv cs.SD

Оценка выравнивания аудио и MIDI в корпусах фортепианной транскрипции

ArXiv:2611.14443

Статья выясняет, какие оценки действительно обнаруживают небольшие ошибки времени между фортепианной записью и её MIDI-разметкой. Семантически похожая музыка может оставаться почти идентичной для аудиоэмбеддингов после сдвига нот, поэтому высокая похожесть представлений ещё не подтверждает точное временное соответствие.

Метод. Авторы контролируемо меняют высоты, добавляют и удаляют ноты, сдвигают начала до 500 мс. Сравниваются CLaMP 3 и CLAP, спектральные и хроматические признаки с DTW, детекторы атак и системы транскрипции. Предложенная STI сопоставляет ноты венгерским алгоритмом с учётом высоты, времени атаки и интервала от предыдущей ноты той же высоты. Вместо жёсткого допуска используется вес exp(−c/0,05), после чего вычисляются мягкие precision, recall и F-мера. Отдельно измеряются монотонность, стабильность, чувствительность и согласованность оценки.

Результаты. На общей проверке сдвигов начала монотонность STI-TK составляет 0,95 против 0,64 у стандартной оценки по Transkun; чувствительность 0,95 против 0,80. Для мелких сдвигов 0, 5, 20 и 45 мс на идеально выровненном MAPS-S STI-TK даёт монотонность 1,00 и чувствительность 0,52. Хроматический DTW достигает монотонности 0,95, но чувствительности лишь 0,02. При ранжировании реальных корпусов MusicNet устойчиво выглядит хуже выровненным, точный порядок остальных зависит от метода.

Ограничения. Только фортепиано; оценка STI зависит от ошибок транскрибатора и его знакомства с данными. MAESTRO и SMD сами содержат остаточные неточности, поэтому не являются идеальной шкалой сдвига. Балл корпуса не переводится напрямую в миллисекунды ошибки и не заменяет ручную проверку. Результат ещё не проверен для речи, хотя проблема чрезмерно нечувствительных признаков аналогична.

Фишка из статьи. Таблица 2 на с. 4 различает стабильную и информативную оценку. На MAPS-S почти неизменный балл DTW устойчив между примерами, но практически не замечает интересующие миллисекундные ошибки.

Малые сдвиги MAPS-SМонотонностьСтабильностьЧувствительность
DTW по CENS0,950,990,02
STI с ByteDance1,000,960,52
STI с Transkun1,000,980,52

Как это читать: Большая стабильность не всегда достоинство: оценка может просто не реагировать на ошибку. STI сохраняет направленный отклик на сдвиг ниже стандартного 50-мс допуска, однако добавляет зависимость от распознавания нот. Для контроля корпуса полезны сразу несколько осей качества метрики, а не один высокий коэффициент похожести.

Источник. Оригинальное название: Assessing Alignment in Automatic Piano Transcription Datasets: A Benchmark for Scoring Methods. arXiv:2611.14443; полный текст PDF.

Оригинальная статья на arXiv