MusicFlux: генерация и редактирование музыки по тексту с гибким акустическим условием
MusicFlux объединяет создание инструментальной музыки, заполнение пропусков и восстановление искажённых записей. Основной эксперимент сравнивает два способа передать исходное аудио модели потока: напрямую удвоить последовательность или сдвинуть начальную и конечную точки в скрытом пространстве. Второй дешевле, но хуже удерживает подробности редактируемого контекста.
Метод. TangoFlux дообучается на JamendoMaxCaps, около 58 тыс. часов и 1,81 млн пар 30-секундных записей с описаниями. MusicFlux-Concat объединяет скрытые последовательности источника и зашумлённой цели, добавляя временную маску. MusicFlux-CAR сохраняет длину цели: две небольшие сети вычисляют условные аддитивные сдвиги концов траектории. Они добавляют около 4,6 млн параметров. Общий flow-matching тракт работает в скрытом аудиопредставлении; статья не вводит отдельный кодек связи и не устанавливает для него битрейт. На выводе используются 50 шагов интегрирования и CFG 4,5.
Результаты. В собственном домене CAF-Score генерации равен 0,5196 для CAR и 0,5100 для Concat; KAD, напротив, лучше у Concat: 0,6400 против 1,1239. При заполнении пропусков на внешнем SDD FLEUR* составляет 0,8428 и 0,8390, KAD 0,0380 и 0,4744 соответственно. На этом же внешнем наборе Stable Audio 3 лучше по обычной генерации, что ограничивает перенос заявленного выигрыша. RTF CAR 0,1188 против 0,2203 у Concat в авторском вычислительном тесте.
Ограничения. Обучение ограничено инструментальной музыкой и автоматически подготовленными описаниями. Часть оценки редактирования поручена Qwen3-Omni, полноценная независимая слушательская проверка не представлена. Эталонные модели обучались на других данных, поэтому сравнение не изолирует архитектуру. Дополнительная память выполнения не равна полной памяти процесса, а RTF не сообщает задержку первого звука.
Фишка из статьи. Таблица 2 на с. 4 показывает, где именно экономит отказ от удвоения последовательности. При batch = 1, длине 645 и FP32 почти одинаковый объём постоянных весов соседствует с существенно разной динамической памятью.
| Режим | Вариант | Базовая память, МиБ | Динамическая память, МиБ | RTF |
|---|---|---|---|---|
| Вывод | Concat | 3358,54 | 150,11 | 0,2203 |
| Вывод | CAR | 3364,19 | 75,71 | 0,1188 |
| Обучение | Concat | 3366,82 | 2748,19 | Не указан |
| Обучение | CAR | 3372,48 | 1988,10 | Не указан |
Как это читать: Динамическая память вывода почти вдвое меньше, но общая экономия памяти значительно скромнее из-за примерно 3,36 ГиБ базового размещения. Сокращение RTF по приведённым числам около 46%, не более 50%. Инженерный выбор зависит от задачи: для точного восстановления контекста прямой доступ Concat остаётся качественнее.
Источник. Оригинальное название: MusicFlux: Flexible Conditioning for Text-Guided Music Generation and Editing. arXiv:2611.13834; полный текст PDF.