FoleyForge: управляемое редактирование звуковых эффектов с помощью rectified flow

FoleyForge редактирует существующий звуковой эффект по инструкции, сохраняя те свойства, которые менять не просили. В отличие от повторной генерации по новому описанию, модель получает исходный звук отдельной последовательностью признаков и умеет регулировать силу изменения, громкость и огибающую. Интересен не один лучший балл, а измеренный компромисс между выполнением команды и узнаваемостью исходника.

Метод. Авторы дообучают rectified-flow Transformer Sketch2Sound на 464 тысячах троек «вход, инструкция, выход». DSP-часть строится контролируемыми обработками, семантическая часть генерируется с сохранением близкого содержания; добавлены обратные, составные и тождественные преобразования. Чистые латенты входа приписываются перед зашумлёнными выходными латентами. Такая последовательная подача не требует одинаковой длины входа и выхода, что важно, например, для хвоста реверберации. Аудиокодировщик заморожен: его пространство используется для генерации, новый транспортный кодек не разрабатывается.

Результаты. На Creative Set автоматические оценки следования инструкции равны 3,44 у Qwen и 4,42 у Gemini против 2,69 и 3,65 для SAO-Instruct. В прослушивании 25 участников оценивали десять исходных клипов: соблюдение инструкции у FoleyForge 3,22 против 2,69, но качество звука ниже, 3,43 против 3,73. Это реальный обмен, а не улучшение без потерь. Включение огибающей повышает корреляцию временного контура с исходным с 0,11 до 0,37.

Ограничения. Обучающее аудио внутреннее лицензированное, FAD считается относительно закрытой коллекции. В Creative Set инструкции новые, но входы созданы родственником той же генеративной модели; проверка переноса на произвольные полевые записи ограничена. На Subtle Set оценщики расходятся: Gemini предпочитает SAO-Instruct. Размер латентов, битрейт, RTF, сквозная память и алгоритмическая задержка не нормированы, поэтому работу нельзя использовать как количественное сравнение кодеков или готового потокового редактора.

Фишка из статьи. Таблица 1 показывает необычное поведение FoleyForge+: тот же обученный редактор с другим способом связывания траекторий гораздо лучше сохраняет вход, но заметно хуже исполняет изменение. Ниже Creative Set, шкала Qwen 1–5 и косинусное сходство CLAP.

Как это читать: большое сходство может означать, что редактирование почти не произошло. Высокая автоматическая эстетическая PQ в последней строке не спасает выполнение задачи. Поэтому полезнее выбирать рабочую точку по силе изменения и сохранению структуры, чем ранжировать редакторы одной метрикой сходства или качества.

Источник. Оригинальное название: FoleyForge: Free-form, Controllable, Rectified-flow Editing of Sound Effects. arXiv:2611.08695; полный текст PDF.