SonicWorld: скрытая динамика звуковых источников для пространственного аудиорассуждения
SonicWorld добавляет аудиоязыковой модели постоянные скрытые ячейки источников: система должна не заново угадывать сцену в каждом окне, а вести состояние каждого говорящего во времени. Это особенно важно для движущихся источников, где направление, расстояние и семантика должны оставаться согласованными даже при пересечении траекторий и помехах.
Метод. Набор Sonic-Bench содержит 2880 десятисекундных FOA-записей, 4800 траекторий, 28,8 тыс. вопросов и 480 моделированных комнат. Для каждой ячейки объединяются физический вектор интенсивности FOA, обучаемые акустические признаки, семантика BEATs, переходная модель и рекуррентное состояние; полученные токены подаются в Qwen2.5-Omni-7B. Импульсные характеристики обновляются не чаще 4 раз в секунду и имеют длительность 0,25 с.
Результаты. На Sonic-Bench общая точность направления растёт с 31,98% до 34,69%, а средняя ошибка азимута уменьшается с 57,22° до 48,01°. Для одного источника ошибка падает с 46,87° до 30,85°. На внешнем SLS нулевой перенос особенно заметен: точность направления 27,14% → 73,98%, ошибка азимута 70,74° → 19,29°. При официальной пространственной помехе получено 63,35% и 26,74°, хотя ошибка расстояния 1,16 м хуже BAT (0,84 м).
Ограничения. Сцены синтетические, комнатные, не длиннее 10 с, максимум с двумя речевыми источниками и фиксированным приёмником. Короткие моделированные импульсные характеристики и редкое обновление акустики упрощают движение; распределение углов места тоже ограничено.
Фишка из статьи. Абляции разделяют роль памяти, динамики и пространственного контроля: наибольшую ошибку положения даёт потеря обучения предыдущего состояния, а переходная модель особенно нужна именно при движении.
| Удалённый компонент | Наблюдаемый эффект | Интерпретация |
|---|---|---|
| Контроль предыдущего состояния | +13,24° к MAE азимута | Ячейки теряют устойчивую привязку к источнику |
| Переходная MLP | −1,98 п.п. на движущихся сценах | Одной рекуррентной памяти недостаточно для движения |
| Потеря маскированного состояния | −4,69 п.п. Az20 | Слабее восстанавливаются пропущенные пространственные признаки |
Как это читать: главный выигрыш даёт не ещё один аудиопризнак, а сохранение идентичности источника между кадрами. Это превращает локализацию из набора независимых оценок в задачу отслеживания скрытого состояния.
Источники. страница arXiv; PDF статьи. Оригинальное название: SonicWorld: Latent Source Dynamics for Spatial Audio Reasoning.