Аудиотекстовые модели Выравнивание Поиск событий
arXiv eess.AS

SCLAP: упорядоченное выравнивание аудио и текста для поиска и локализации событий

ArXiv:2611.12124

SCLAP заменяет сравнение двух усреднённых векторов при обучении CLAP на упорядоченное сопоставление звуковых кадров и текстовых токенов. Цель состоит в том, чтобы краткое событие не растворялось в длинной записи. При использовании модель возвращается к простому сравнению заранее вычисленных признаков: решать транспортную задачу для каждого поискового запроса не требуется.

Метод. Одномерный оптимальный транспорт связывает последовательности акустических и текстовых признаков с сохранением порядка; веса элементов обучаются отдельно в каждой модальности. Проверены объединение признаков с весами и покадровое сравнение с текстом. Обучение текущей стадии использует подписи без времён событий, но акустический ASiT ранее обучался с AudioSet Strong, поэтому всю систему нельзя называть никогда не видевшей временной разметки. Поиск сохраняет возможность независимо закешировать аудио и текст, в отличие от запросозависимого TAP.

Результаты. На длинных записях CASTELLA SCLAP-P получает mAP@10 24,80 против 21,47 у CLAP и 23,86 у TAP. Разница с TAP укладывается в вариативность запусков, поэтому это не убедительный отрыв по всем метрикам. Для локализации AudioSet Strong pAUROC повышается с 72,36 до 76,13 у SCLAP-T. На коротком Clotho результаты близки: mAP@10 около 29–31 у всех основных вариантов.

Ограничения. Порядок слов в подписи не всегда совпадает с порядком звуковых событий, особенно при одновременных источниках. Проверены конкретные корпуса и уже сильный кодировщик; чистый вклад отсутствия временной разметки нельзя переносить на обучение с нуля. Вычислительная простота использования не сопровождается измеренным временем ответа или гарантией потокового режима. Абсолютная точность поиска в длинном контексте остаётся невысокой.

Фишка из статьи. Таблица 5 увеличивает контекст вокруг одного и того же целевого события. Ниже R@1 при IoU не меньше 0,3: чем больше постороннего звука, тем сильнее проявляется размывание события глобальным представлением.

Контекст, сCLAP, %TAP, %SCLAP, %
2015,6218,2517,12
808,267,1210,53
1606,885,579,40
3206,104,677,60

Как это читать: при коротком окне выигрывает TAP, но по мере расширения окружения его преимущество исчезает. SCLAP лучше удерживает локальную информацию, хотя даже 7,60% нельзя назвать решённым поиском. Смысл таблицы в устойчивости представления к лишнему контексту, а не в безусловном улучшении на любой длине.

Источник. Оригинальное название: SCLAP: Temporal structural alignment improves localization in long-form audio. arXiv:2611.12124; полный текст PDF.

Оригинальная статья на arXiv