ProCraft: редактирование музыки по свободным текстовым инструкциям в кодековых токенах

ProCraft выполняет составные музыкальные правки: например, убрать инструмент и одновременно изменить звучание оставшегося. Одна авторегрессионная модель 0,5B поддерживает семь операций и восемь инструментов на тридцатисекундных отрывках. Работа особенно полезна тем, что отдельно разбирает ошибки самого редактирования и ограничения низкобитрейтного кодека.

Метод. Модель инициализирована InspireMusic. Замороженный WavTokenizer кодирует 24-кГц моно одним словарём на 4096 элементов: 2250 токенов за 30 с, то есть 75 Гц и номинально 0,9 кбит/с индексов. Инструкция и исходные токены читаются в общей последовательности, добавлены обучаемые запросы, затворное перекрёстное внимание и согласование с MERT, высотой тона и активностью инструментов. Составные пары создаются на лету из дорожечных операций и эффектов. После генерации работают кодековый декодер и замороженная flow-matching ступень InspireMusic с HiFiCodec для выхода 48 кГц моно.

Результаты. На составных запросах Slakh SI-SDR удаления равен −7,39 dB против −24,88 у лучшего из четырёх приведённых свободнотекстовых редакторов; для выделения −15,73 против −23,98, подавления шума −4,74 против −26,02. Отрицательные абсолютные значения важны: лидерство среди генераторов не делает восстановление точным. На MoisesDB удаление с полным ProCraft выполняется в 38% случаев против 26% у версии без внимания и согласования. В опыте с 16 слушателями новый метод лучше всего оценён для удаления и подавления шума, но не отличается значимо от Audio-Omni на выделении и переносе инструмента.

Ограничения. Специализированные разделители существенно сильнее по точному восстановлению волны. Обучение в основном синтетическое, собственных данных около 145 часов; часть операций и инструментов ограничена заданной таксономией. Слушательский опыт охватывает шесть операций с тремя подготовленными записями на каждую, а не большой независимый корпус. Модель не потоковая: 2250 последовательных шагов и последующая генеративная обработка не дают установленной малой задержки. Не приведены сквозные RTF и память. Битрейт 0,9 кбит/с относится к индексам WavTokenizer, не ко всему вычислительному конвейеру и не к 48-кГц выходу.

Фишка из статьи. Контроль в разделе 5.1 пропускает правильную целевую дорожку только через WavTokenizer. Для удаления в Slakh это позволяет увидеть потолок выбранного представления, не смешивая его с соблюдением инструкции.

Как это читать: между разделителем и одним кодеком около 7,3 dB из общего разрыва 11,3 dB. Это диагностический контроль, не строгая аддитивная причинная декомпозиция ошибок, но он предупреждает о важной границе: повышение точности языковой модели не устранит искажения её представления. При этом один SI-SDR тоже недостаточен: на реальном выделении AudioSep имеет лучше SI-SDR, но выполняет нужную изоляцию лишь в 7,3% примеров против 82,0% у ProCraft.

Источник. Оригинальное название: ProCraft: Instruction-Driven Music Production from Free-Form Text. arXiv:2611.07423; полный текст PDF.