AMBIT: генерация и редактирование пространственного звука с исполняемыми планами и самодистилляцией Transfusion

При редактировании пространственной сцены мало правильно переместить нужный голос: остальные источники должны сохранить направление, уровень и звучание. AMBIT связывает языковой план всей целевой сцены с генерацией амбисоники первого порядка. Общий Transformer умеет и авторегрессионно описать источники, и непрерывно построить звук по этому плану, используя исходное аудио для сохранения деталей.

Метод. SCENEPLAN задаёт содержание, время активности и трёхмерную статическую либо линейную траекторию каждого источника. План компилируется в семантические и покадровые пространственные условия rectified flow. VAE хранит четыре канала; отдельная часть латентного пространства с более слабым KL-регулированием восстанавливает всенаправленный W через тот же декодер. Контроль локальной пространственной ковариации сопоставляет межканальную энергию, когерентность и фазу. На этапе OPSD учителя с доступом к целевому плану и аудио обучают ученика на его собственных префиксах и состояниях генерации; дискретные выбранные планы при этом не дифференцируются.

Результаты. На 5000 парах редактирования paired CLAP 0,84 против 0,68 у SwanWeave, LSD 1,27 против 1,65. Для неизменяемых источников ошибка направления снижается с 0,90 до 0,17 рад, изменение уровня с 8,40 до 1,65 дБ. Генерация речи имеет WER 0,07 в долях против 0,09 у Qwen3-TTS, но UTMOS хуже: 3,52 против 4,18. Это улучшение верности словам, не безусловная победа в естественности. Совместная OPSD улучшает все девять приведённых показателей относительно продолженного обучения с учителем.

Ограничения. Сцены ограничены приблизительно 15 с; последовательное накопление ошибок при многих правках не проверено. План допускает ограниченный набор траекторий и атрибутов. Пространственные показатели отдельных источников считаются на пригодных изолированных интервалах, а не на произвольном полном наложении. Воспроизведение требует 100 шагов для генерации и 20 для редактирования; потоковая задержка не показана. Слушательский тест на 20 студентах полезен, но не заменяет разнообразной проверки реальных сцен.

Фишка из статьи. В таблице 1 видно, зачем явно обучать межканальные связи, если уже есть спектральные и фазовые потери. Это накопительная абляция VAE при одинаковом числе обновлений; последняя строка добавляет сразу два компонента.

Как это читать: основной скачок направления даёт SCM, тогда как последующие добавки преимущественно улучшают содержание W. Важна не фаза каждого канала сама по себе, а согласованность каналов как одного звукового поля. Совместное добавление группового KL и вспомогательной задачи не позволяет по этой таблице разделить их индивидуальный вклад.

Источник. Оригинальное название: Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion. arXiv:2610.34415; полный текст PDF.