SCLAP: упорядоченное выравнивание аудио и текста для поиска и локализации событий
SCLAP заменяет сравнение двух усреднённых векторов при обучении CLAP на упорядоченное сопоставление звуковых кадров и текстовых токенов. Цель состоит в том, чтобы краткое событие не растворялось в длинной записи. При использовании модель возвращается к простому сравнению заранее вычисленных признаков: решать транспортную задачу для каждого поискового запроса не требуется.
Метод. Одномерный оптимальный транспорт связывает последовательности акустических и текстовых признаков с сохранением порядка; веса элементов обучаются отдельно в каждой модальности. Проверены объединение признаков с весами и покадровое сравнение с текстом. Обучение текущей стадии использует подписи без времён событий, но акустический ASiT ранее обучался с AudioSet Strong, поэтому всю систему нельзя называть никогда не видевшей временной разметки. Поиск сохраняет возможность независимо закешировать аудио и текст, в отличие от запросозависимого TAP.
Результаты. На длинных записях CASTELLA SCLAP-P получает mAP@10 24,80 против 21,47 у CLAP и 23,86 у TAP. Разница с TAP укладывается в вариативность запусков, поэтому это не убедительный отрыв по всем метрикам. Для локализации AudioSet Strong pAUROC повышается с 72,36 до 76,13 у SCLAP-T. На коротком Clotho результаты близки: mAP@10 около 29–31 у всех основных вариантов.
Ограничения. Порядок слов в подписи не всегда совпадает с порядком звуковых событий, особенно при одновременных источниках. Проверены конкретные корпуса и уже сильный кодировщик; чистый вклад отсутствия временной разметки нельзя переносить на обучение с нуля. Вычислительная простота использования не сопровождается измеренным временем ответа или гарантией потокового режима. Абсолютная точность поиска в длинном контексте остаётся невысокой.
Фишка из статьи. Таблица 5 увеличивает контекст вокруг одного и того же целевого события. Ниже R@1 при IoU не меньше 0,3: чем больше постороннего звука, тем сильнее проявляется размывание события глобальным представлением.
| Контекст, с | CLAP, % | TAP, % | SCLAP, % |
|---|---|---|---|
| 20 | 15,62 | 18,25 | 17,12 |
| 80 | 8,26 | 7,12 | 10,53 |
| 160 | 6,88 | 5,57 | 9,40 |
| 320 | 6,10 | 4,67 | 7,60 |
Как это читать: при коротком окне выигрывает TAP, но по мере расширения окружения его преимущество исчезает. SCLAP лучше удерживает локальную информацию, хотя даже 7,60% нельзя назвать решённым поиском. Смысл таблицы в устойчивости представления к лишнему контексту, а не в безусловном улучшении на любой длине.
Источник. Оригинальное название: SCLAP: Temporal structural alignment improves localization in long-form audio. arXiv:2611.12124; полный текст PDF.