AV-QTSS: пространственное выделение целевого звука по классу в многоисточниковом панорамном видео

Из монофонической смеси нельзя непосредственно восстановить направление каждого источника. AV-QTSS использует панорамное видео и запрос класса, например речи или телефона, чтобы одновременно выделить нужный звук и получить его четырёхканальное амбисоническое представление. Главное изменение — одна и та же семантика управляет выделением, привязкой к объекту и пространственным воспроизведением.

Метод. AudioSep выделяет реверберирующий всенаправленный канал по одному из 13 классов DCASE. Локализатор соединяет признаки выделенного аудио, видео и класса, предсказывая распределение по сферической сетке 7×14. Это распределение направляет TFU-Net, который оценивает комплексные маски трёх направленных каналов. Локализатор и рендерер обучаются совместно, но выделитель предварительно адаптируется отдельно. Обработка пятисекундных отрезков использует пять кадров с частотой 1 Гц; направление между ними интерполируется.

Результаты. На синтетических многоисточниковых сценах SI-SDR всенаправленного целевого сигнала растёт с −3,75 дБ у смеси до 6,33 дБ после выделения. Полная система даёт угловую ошибку 23,3° против 47,4° без семантической привязки, MOS содержания 4,24 и пространственной точности 4,15. Совместное обучение снижает угловую ошибку с 27,7 до 23,3°, но не делает лучшей каждую метрику: ошибка спектральной амплитуды 0,58 против 0,57 у Direction-Only.

Ограничения. Запросы закрытого словаря предполагаются присутствующими в записи. Нельзя выбрать один из нескольких источников одного класса: такие случаи исключаются из соответствующей реальной проверки. На реальных STAIRS26 нет индивидуальных эталонных волн, поэтому там подтверждена лишь локализация после адаптации, не качество полного целевого FOA. Слушательская оценка мала: 11 человек, по пять отрезков на метод. Готовность к потоковой работе не показана.

Фишка из статьи. Таблица 2 особенно полезна разрывом между синтетической сценой и настоящим помещением. Acc@30° — доля кадров, где максимум карты находится не далее 30° от эталона. Значения реального набора уже включают дополнительную адаптацию.

Как это читать: реальная четырёхисточниковая сцена остаётся трудной даже после переноса. Без адаптации QDB даёт всего 11,1–32,8% по разным подмножествам. Реальные группы различаются не только числом источников, поэтому немонотонность нельзя интерпретировать как пользу добавления второго источника. Это практическое предупреждение о цене синтетического пространственного надзора.

Источник. Оригинальное название: AV-QTSS: Class-Query Target Sound Spatialization in Multi-Source 360$^\circ$ Videos. arXiv:2610.34401; полный текст PDF.