SAS: разметка акустических сцен в AudioSet Strong для совместного анализа сцен и событий

SAS добавляет к временным меткам звуковых событий AudioSet Strong общий контекст сцены: где такие звуки могли возникнуть. Авторы различают частые фоновые события и события, специфичные для конкретного места. Важный результат состоит в том, что более осмысленная геометрия сцен не обязательно повышает обычную точность их классификации.

Метод. Разметка строится по ансамблю визуальных моделей, кадрам видео и уже имеющимся меткам событий; языковые модели согласуют свидетельства и голосуют. Созданы аудиовизуальная и укрупнённая аудиоцентричная таксономии. Для каждой сцены считают распределение событий, а затем его альтернативу с положительной взаимной информацией dPPMI и ослаблением редких совпадений. Такая перевзвешенная версия повышает роль характерных, а не просто популярных звуков. Геометрию сравнивают с ручной иерархией, а практическую проверку проводят на наивном байесовском классификаторе по меткам событий.

Результаты. Корпус включает 207 315 идентификаторов видео; около 31% остаются unknown, что явно ограничивает покрытие. Ручная проверка 1284 клипов двумя аннотаторами даёт κ Коэна 0,634 и 0,611 для двух таксономий. Сходство геометрии с ручной иерархией, измеренное корреляцией Mantel–Spearman, растёт с 0,123 до 0,312 для аудиовизуальной и с 0,183 до 0,336 для аудиоцентричной таксономии. Однако это метрика организации представлений, не точность распознавания непосредственно по звуку.

Ограничения. Сценические метки в основном автоматически получены с использованием изображения и исходных событий: их нельзя называть независимой человеческой акустической разметкой. Анализ ограничен отобранными по уверенности примерами, а сцены имеют длинный хвост частот. Байесовский тест получает метки событий, не сырую волну; успех не доказывает улучшения нейросетевого детектора. Слабое согласие пространств может быть свойством самой неоднозначной сцены, не ошибкой только одной модели.

Фишка из статьи. Таблица 2 показывает обратную сторону семантического перевзвешивания: macro F1 немного повышается, а доля правильных ответов уменьшается. Ниже результаты на ручной проверочной разметке, больше лучше в обоих числовых столбцах.

Как это читать: отличительные события помогают некоторым редким классам, но это не бесплатное улучшение всего распознавания. Рост соответствия человеческой иерархии следует читать вместе с ошибками по классам и покрытием. Именно расхождение между частотным и семантическим соседством авторы предлагают как диагностический признак трудных сцен.

Источник. Оригинальное название: SAS: Scene-Annotated AudioSet Strong for Joint Scene-Event Analysis. arXiv:2611.09199; полный текст PDF.