QC-MI-OVSEL: поиск и локализация нескольких звуковых событий открытого словаря по текстовому запросу
QC-MI-OVSEL ставит более реалистичную задачу пространственного понимания: по запросу вроде «лай собаки» нужно найти все подходящие источники, сообщить их направления и корректно ответить, что события нет. Главный вывод теста — для новых категорий модель чаще не обнаруживает и неверно считает источники, тогда как угловая точность уже найденных событий почти не меняется.
Метод. Набор содержит 40 тыс. десятисекундных FOA-сцен, 80 тыс. сбалансированных присутствующих и отсутствующих запросов, 83 класса и до трёх одновременных целей. Семнадцать классов полностью исключены из обучения. Звуки AudioSetStrong размещаются измеренными RIR из TAU-SRIR; Q-RSet создаёт обусловленные запросом слоты источников и агрегирует доказательства через распределение ответственности.
Результаты. Q-RSet получает F1 50,36%, локализационную полноту 46,11%, угловую ошибку 8,86°, ошибку числа источников 0,41 и 25,89% полностью восстановленных наборов. Относительно OVSELD-Adapt F1 выше на 3,24 п.п., полнота — на 8,64 п.п., ложные срабатывания при отсутствующей категории падают с 30,01 до 20,55%. Для новых классов F1 снижается с 57,07 до 34,27%, но угловая ошибка меняется лишь с 8,74° до 8,84°.
Ограничения. Все сцены синтетически собраны из событий не короче трёх секунд и измеренных, но конечных RIR; реальный шум разметки и неоднозначные классы убраны построением онтологической антицепи. Кодировщики GRAM и CLAP заморожены, поэтому слабое распознавание новой семантики может быть их ограничением, а не только декодера.
Фишка из статьи. При росте числа одновременных целей направление найденных событий остаётся точным, но полный набор быстро разваливается.
| Максимум целей | F1 | Угловая ошибка | Ошибка числа | Полный набор |
|---|---|---|---|---|
| 1 | 56,04% | 8,16° | 0,43 | 39,27% |
| 2 | 52,72% | 8,90° | 0,69 | 23,25% |
| 3 | 54,80% | 9,22° | 0,89 | 14,89% |
Как это читать: F1 не падает монотонно, поэтому сам по себе скрывает потерю целостности сцены. При трёх целях модель часто локализует часть источников достаточно точно, но лишь в 14,89% кадров возвращает правильное число и весь набор.
Источник: arXiv:2610.13198. Оригинальное название: QC-MI-OVSEL: Benchmarking Query-Conditioned Multi-Instance Open-Vocabulary Sound Event Localization.