Rel2Traj: генерация пространственного аудио с согласованными траекториями нескольких источников
Описание «один источник следует за другим» задаёт отношение между движениями, а не две независимые траектории. Rel2Traj сначала генерирует совместную геометрию и только затем размещает звуки в бинауральной сцене. Работа делает пространственное условие проверяемым на каждом кадре и показывает, какие части обучения действительно обеспечивают согласованность.
Метод. Адаптированный Qwen3-4B разбирает описание на источники, отношения и грубые опоры положения. Графовый кодировщик и диффузионный Transformer совместно генерируют по 16 трёхмерных ключевых точек на источник. Зеркально-эквивариантная архитектура учитывает симметрию «лево–право». Затем траектории интерполируются до 30 кадров/с, а фиксированный акустический тракт применяет HRTF, Доплер и отражения к заранее созданным звукам. RSR — доля кадров, удовлетворяющих геометрическому запасу отношения; та же геометрия допускает дополнительную обучающую потерю.
Результаты. В 1020 сценах с исключёнными из обучения сочетаниями движения и отношения RSR достигает 0,983 против 0,919 у правил и 0,869 при независимой генерации источников. Это не совпадение с единственной эталонной траекторией: корректных движений может быть много. В тесте 24 слушателей распознавание заданного отношения составляет 86,0%. У полного метода при этом наибольший jerk в сравнении: превосходство связано с согласованностью, не с максимальной плавностью.
Ограничения. Описания имеют контролируемую грамматику, сценам соответствуют 1–3 источника и не более одного межисточникового отношения. Основные таблицы используют истинную разобранную структуру, а не выход парсера; его проверяют отдельно на валидации. Слабое выполнение «позади» и вариация запусков остаются проблемами. Геометрический запас может быть слишком мал для слухового различения, а четыре ABX-примера не доказывают общую неотличимость генерации от эталона.
Фишка из статьи. В таблице 2 удаление прямой потери отношений не ухудшает результат: основную работу делают структура условия, совместное внимание и опоры. Это полезная абляция против объяснения успеха одной только специально написанной функцией ошибки.
| Вариант | RSR всего | Отношение «следует» | Отношение «позади» | Разнообразие, м |
|---|---|---|---|---|
| Полная модель | 0,983 | 0,992 | 0,780 | 0,44 |
| Без потери отношений | 0,987 | 0,991 | 0,923 | 0,45 |
| Без связи источников | 0,969 | 0,692 | 0,929 | 0,45 |
| Без пространственных опор | 0,938 | 0,999 | 0,053 | 1,30 |
Как это читать: снятие разных ограничений ломает разные отношения: без связи источников страдает следование, без опор почти исчезает корректное «позади». Резкий рост разнообразия сам по себе не полезен, если сцены перестают выполнять описание. Значения описывают конкретный разбор и не устанавливают статистического преимущества удаления потери во всех повторениях.
Источник. Оригинальное название: Rel2Traj: Inter-Source Relation-Aware Trajectory Generation for Text-To-Spatial-Audio. arXiv:2611.01147; полный текст PDF.