Spatial Transfusion: общая модель понимания, генерации и редактирования пространственного звука
Spatial Transfusion расширяет модель описания акустической сцены до генерации и редактирования четырёхканального амбисонического звука первого порядка. Изменение задаётся как операция над сценой: передвинуть, удалить, добавить источник или изменить его время и уровень. Главная инженерная задача — выполнить команду, сохранив всё, что менять не просили.
Метод. Основа — пространственный вариант Sci-Phi на Phi-4-Multimodal и FOA-VAE, кодирующий комплексный спектр в непрерывные признаки. Текст декодируется авторегрессионно, а звук генерируется согласованием потоков в скрытом пространстве VAE. Для редактирования к зашумлённому целевому представлению добавляют чистые признаки исходной сцены: одного текстового описания недостаточно для сохранения деталей. Текстовые и звуковые позиции направляются в разные LoRA-адаптеры замороженной основы. Четыре стадии обучения переходят от одного источника к сценам из пяти источников и свободным инструкциям.
Результаты. Для генерации на тесте с измеренными FOA-MEIR-откликами FAD-PSELD составляет 0,964 против 3,82 при полном дообучении, то есть распределение пространственных признаков ближе к целевому. Для редактирования — 0,323 против 0,596. При этом реконструкция самого VAE даёт 0,103 в генеративном контроле: до эталонной границы остаётся заметный разрыв. Обучаемая часть содержит около 943 млн параметров, главным образом звуковой адаптер ранга 640; слово LoRA здесь не означает микроскопическую добавку.
Ограничения. Основные сцены и пары редактирования синтетические; тест с реальными откликами остаётся перерисованной сценой, а не произвольной полевой записью. Нет субъективного испытания и измерений задержки, вывод требует 50 шагов. CLAP и EditFLAM не покрывают все пространственные и временные операции; последние считаются только для семантических изменений. После обучения свободному языку некоторые метрики сохранения сцены ухудшаются. Распределительное сходство не гарантирует точного выполнения каждой команды.
Фишка из статьи. Таблица 5 показывает опасность оценки редактора только сходством с целью. Поскольку атомарная правка меняет небольшую часть сцены, простое копирование входа получает почти идеальный FAD, но ничего не редактирует.
| Способ редактирования | EditFLAM ↑ | FAD-PSELD ↓ | CLAP сходства входа и выхода ↑ |
|---|---|---|---|
| Копировать вход | 0,0 | 0,005 | 1,000 |
| Создать заново по целевому JSON | 19,7 | 1,19 | 0,701 |
| Полное дообучение | 15,5 | 0,596 | 0,795 |
| Spatial Transfusion | 17,8 | 0,323 | 0,841 |
Как это читать: редактор нужно оценивать минимум по двум осям: произошло ли требуемое изменение и сохранилось ли остальное. Максимальное сходство выгодно бездействию, а высокий показатель изменения может сопровождаться полной перегенерацией фона. Здесь модель занимает полезную промежуточную точку, а не просто минимизирует одну дистанцию.
Источник. Оригинальное название: Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing. arXiv:2611.02330; полный текст PDF.