DeepASA++: сохранение слабо представленных источников при анализе звуковой сцены

Если выделять отдельные звуковые объекты только из последнего слоя общей сцены, часть источников к этому моменту уже плохо представлена. DeepASA++ формирует объектные ветви раньше и постепенно обновляет их признаками нескольких глубин. Это не просто дополнительный декодер: внимание между объектами должно учитывать взаимные помехи, а собственная ветвь сохранять сведения о слабее представленном источнике.

Метод. PARASITE подключается к замороженному сценовому ядру после его обучения. Объектное объединение OGF смешивает предыдущую оценку каждого источника с новым разделением общей сцены; WCOA использует соседние пять временных кадров для оценки отношений между объектами. Рабочая конфигурация берёт слои 4, 5 и 6 TF-Locoformer. Диагностика CKA сопоставляет скрытые представления с отдельными эталонными источниками; эти эталоны нужны для анализа обучения, не являются дополнительным входом при применении.

Результаты. На ASA2 с максимум пятью источниками из 13 классов SI-SDRi повышается с 13,88 у DeepASA-Loco до 14,24 дБ, а SELD уменьшается с 0,176 до 0,147. На STARSS23 SELD равна 0,240 против 0,257, ошибка направления уменьшается с 10,0 до 8,4°. Увеличенная базовая модель требует в 1,69 раза больше параметров и в 1,53 раза больше вычислений, но остаётся хуже предложенной на 0,45 дБ SI-SDRi и 0,017 SELD.

Ограничения. CKA выявляет связь представления и ошибок, но не устанавливает единственную причину потери источника. Ранг доминирования определяется сходством признаков с эталоном, не только акустической громкостью. Конфигурация ограничена числом объектных мест; поведение при большем количестве источников не показано. Для STARSS23 нет эталонов разделения и проверяются только обнаружение и локализация. Выигрыш на этой задаче нельзя объявлять измеренным улучшением извлечённой речи.

Фишка из статьи. Таблица 1 показывает, насколько средний результат скрывает неравенство источников ещё до изменения архитектуры. Это исходный DeepASA-Loco, ранжирование по CKA с мел-спектрограммой.

Как это читать: разрыв 10,60 дБ не виден в одной средней оценке разделения. Более раннее объектное ветвление мотивировано сохранением распределённой информации, а не восстановлением её после исчезновения из финального представления. У другой опорной системы SPEAR разрыв меньше, поэтому численный ранг тоже зависит от выбранного способа диагностики; его не стоит считать абсолютной физической характеристикой смеси.

Источник. Оригинальное название: Hear Every Sound Object: Rescuing Overlooked Sources in Auditory Scene Analysis. arXiv:2610.30874; полный текст PDF.