MiDiff: восстановление барабанных записей диффузионной моделью с условием по MIDI

При сильной реверберации и ограничении амплитуды по записи трудно восстановить, какой удар должен был прозвучать. MiDiff использует синхронный MIDI как независимое описание инструментов, моментов и силы ударов. Работа интересна переносом схемы улучшения речи SGMSE на музыкальные переходные процессы и проверкой того, где именно символическое условие действительно помогает.

Метод. Модель восстанавливает действительную и мнимую части STFT, не ограничиваясь коррекцией амплитуды при исходной фазе. Предобученный MIDI-кодировщик согласует временные масштабы с U-Net; признаки подаются на вход, через FiLM и перекрёстное внимание. Базовый SGMSE обучается на тех же записях и искажениях. Отдельный контроль использует MIDI только как градиент от распознавателя барабанных событий. Для работы без исходного MIDI предложено сначала очищать звук SGMSE, затем распознавать текущее состояние и переключаться на MiDiff.

Результаты. На StemGMD test MiDiff получает FAD 0,233 против 1,268 у SGMSE, то есть примерно на 82% меньше в данном протоколе. При этом мел-спектральное расстояние почти не лучше: 1,31 против 1,30 дБ; ошибка времён ударов 0,029 против 0,028 мс/с. Выигрыш распределительной метрики не означает улучшения каждого покадрового показателя. На валидации FAD составляет 0,467 против 0,673. Вариант без эталонного MIDI достигает FAD 0,676, но оптимальное время переключения 0,75 выбрано на самом тесте и поэтому является исследовательской оценкой, а не чистым итоговым результатом.

Ограничения. Материал получен рендерингом MIDI одного барабанщика десятью библиотеками; обучение 16,08 ч, тест 100 записей из других сессий того же музыканта. Искажения синтетические: отражения и эхо, частотная характеристика микрофона, мягкое ограничение и шум. Эталонное MIDI является причиной генерации чистого звука, поэтому его точное совпадение оптимистичнее живого исполнения. Только 16 кГц, нет субъективного теста и доверительных интервалов; размеры моделей 71,2 и 65,6 млн не строго уравнены. Результат не следует объявлять проверкой улучшения речи или отдельным доказательством выигрыша фазового критерия.

Фишка из статьи. Таблица III различает два часто смешиваемых опыта: обучение каждого способа подачи MIDI отдельно и выключение каналов в совместно обученной модели. Ниже везде FAD; столбцы относятся к разным наборам и напрямую не вычитаются.

Как это читать: отдельно обученный канал условия здесь проигрывает даже отсутствию MIDI, хотя в совместной модели каждый путь сохраняет часть пользы. Нельзя читать абляцию выключения как качество самостоятельной архитектуры. Ещё один отрицательный контроль: градиентное направление от распознавателя событий не достигает MiDiff даже с правильным MIDI. Важны совместное обучение оценки восстановления и содержание динамики ударов, а не наличие символической подсказки само по себе.

Источник. Оригинальное название: MiDiff: MIDI-Conditioned Diffusion Models for Drum Audio Enhancement. arXiv:2610.38619; полный текст PDF.