SMEBench: оценка редактирования музыки по парным MIDI-преобразованиям

Редактор музыки должен одновременно выполнить команду и сохранить всё остальное. SMEBench создаёт известную пару «до/после» изменением MIDI, чтобы разделить эти требования и проверить, что поощряют автоматические метрики. Даже близость к правильному конечному аудио оказывается недостаточной самостоятельной оценкой редактирования.

Метод. Из MIDICaps вырезаются десятисекундные фрагменты с доступными для правки инструментами. Двенадцать операций меняют состав инструментов, артикуляцию, динамику или строй. Исходный и изменённый MIDI озвучиваются одним из пяти SoundFont через FluidSynth в моно 22,05 кГц. Всего получено 11160 пар, тест сбалансирован по 300 примеров на операцию, итого 3600. Дополнительные 416 пар SME-Real из 107 многодорожечных записей MoisesDB проверяют часть операций на настоящих инструментах.

Результаты. В 236 слушательских пробах 17 участников качество целевых записей оценено в 4,23/5, сохранение узнаваемости источника в 4,65, выполнение команды в 3,99. Три операции, включая legato, удаление инструмента и замену ударных, неуверенно превосходят середину шкалы выполнения команды. Пять методов с общей основой AudioLDM2 и отдельный MusicGen меняют ранжирование в зависимости от метрики: при описании результата CLAP-Text выбирает MusicGen, а целевые CLAP-Audio и LPAPS выбирают SteerMusic.

Ограничения. Синтезированные инструменты не представляют вокал, мастеринг, жанровую переработку или естественные пространственные сцены. Автоматическая фильтрация по CLAP/LPAPS и описаниям языковой модели может смещать набор; проверка принятых описаний не проверяет правильность отклонения остальных. Изменение иногда допускает несколько музыкально правильных реализаций, а эталон только один. Слабослышимые операции сохранены в наборе, поэтому состав агрегата нужно указывать явно; оценка девяти надёжных операций выше общей.

Фишка из статьи. Сопоставление таблиц 2–3 даёт полезный отрицательный контроль: вернуть исходную запись без правки. Ниже средние по тому же синтетическому тесту; для Identity значения получаются из опубликованного расстояния исходник–эталон. Меньший LPAPS и больший CLAP-Audio означают большую близость к цели.

Как это читать: даже лучший изученный редактор дальше от эталона, чем нетронутый исходник. Это не делает отсутствие правки правильным ответом: значительная часть материала должна оставаться общей, и метрика вознаграждает её сохранение. Поэтому нужны отдельно исполнение конкретной операции, неизменность остального и прослушивание; одна высокая текстовая или аудиосемантическая близость не закрывает задачу.

Источник. Оригинальное название: SMEBENCH: Benchmarking Neural Music Editing with Synthetized MIDI Edits. arXiv:2610.36715; полный текст PDF.