Управление мелодией в диффузионных аудиомоделях без переобучения
Заданную мелодию можно навязать безусловной аудиомодели уже при генерации, не обучая её заново на нотах или контурах высоты. Работа использует дифференцируемый классический оценщик основного тона как измерительный оператор обратной задачи. Но одного совпадения F0 мало: множество сигналов с одинаковой высотой имеют совершенно разную артикуляцию и тембр.
Метод. Diffusion posterior sampling объединяет направление к правдоподобному звуку с градиентом ошибки между заданным F0 и оценкой dSWIPE по текущему очищенному сигналу. dSWIPE заменяет жёсткий выбор максимума SWIPE мягким распределением по кандидатам высоты. Для скрытых представлений градиент проходит также через декодер. Начальная точка строится из треугольного сигнала нужной высоты: его гармоники дают более подходящую опору, чем синус или чистый шум. Совместно настраиваются сила управления и момент начала обратной диффузии.
Результаты. На ста мелодиях POP909 для певческого голоса получены RPA/OA по CREPE 0,91/0,86 против 0,76/0,85 у DiffSinger; по SWIPE 0,95/0,73 против 0,76/0,68. Для гитары OA по CREPE равна 0,79 против 0,84 у DDSP-Guitar: лидерство не универсально. Проверены четыре готовые модели для голоса, гитары и фортепиано. При запуске из шума без управления OA остаётся ниже 0,4; сильное управление без подходящей начальной точки способно портить звук.
Ограничения. Не управляются фонемы, слова, атака и затухание нот. Для голоса модель сама выбирает фонетическое содержание, поэтому это не синтез заданного текста. Прослушивание неформальное, время генерации и стоимость обратного прохода не приведены. Базовые голосовые и гитарные модели обучены на разных корпусах, поэтому их FAD/KAD нельзя интерпретировать как строгое сравнение одинаковых условий. Сам оценщик SWIPE родственен целевому критерию, хотя дополнительно используется независимый CREPE.
Фишка из статьи. У фортепиано все системы обучены на MAESTRO, и здесь уже уместно совместно читать мелодическую точность и расстояние между распределениями звука. Высокая точность высоты не гарантирует лучший тембр.
| Система для фортепиано | RPA по CREPE | OA по CREPE | KAD, меньше лучше | FAD, меньше лучше |
|---|---|---|---|---|
| PianoKontext | 0,76 | 0,63 | 22,2 | 0,25 |
| MSD | 0,81 | 0,67 | 61,9 | 0,73 |
| Управление MR-CQT | 0,96 | 0,78 | 29,5 | 0,39 |
| Управление CQT | 0,95 | 0,88 | 52,4 | 0,66 |
Как это читать: CQT-вариант имеет лучшую OA, но заметно хуже MR-CQT по распределительным шкалам и хуже PianoKontext по FAD. Авторы связывают трудности с тем, что безусловный приор обучен на полифоническом фортепиано, а одиночная мелодическая линия для него нетипична. В таком обратном восстановлении точная измерительная цель может конфликтовать с распределением, которое модель умеет порождать.
Источник. Оригинальное название: Melody Guidance for Audio Diffusion Models Without Retraining. arXiv:2610.32211; полный текст PDF.