Локализация события в длинной аудиозаписи через набор кандидатов и непрерывную временную модель
Вместо просьбы сразу назвать начало и конец события система сначала сохраняет несколько правдоподобных интервалов, а затем поручает замороженной аудиоязыковой модели выбрать подходящий. Временной предиктор учитывает текст запроса ещё до построения кандидатов. Анализ показывает, что значительная часть оставшейся ошибки возникает уже при выборе, хотя нужный интервал в наборе имеется.
Метод. FiLM изменяет аудиопризнаки по текстовому запросу, затем CfC-модель с непрерывной временной динамикой обрабатывает последовательность с шагом, зависящим от длины записи. Начало, конец и релевантность предсказываются отдельными выходами; пороговое выращивание областей создаёт интервалы нескольких масштабов. Каждый отрывок независимо получает оценку Yes/No от MOSS-Audio или Qwen3-Omni. Для Qwen дополнительный локальный модуль уточняет границы в пределах пяти секунд. Обучение использует 3737 английских пар запрос–интервал и 1024 временные позиции.
Результаты. На английском TAG LAT-Bench с записями до 30 минут Qwen3-Omni с объединённым пулом и уточнением получает mIoU 44,13% и R@0,5 46,95%. Прямой запрос этой модели даёт 15,80 и 16,00%. Однако опубликованный LAT-Audio остаётся выше с mIoU 50,00%, а QA-SFT Qwen имеет лучший R@0,7, 24,50 против 22,07%: метод не побеждает по всем критериям точности границ.
Ограничения. Оценка ограничена английским поднабором, три эпохи обучения не раскрывают устойчивость к другим языкам и типам событий. Замороженная большая модель всё равно запускается отдельно на кандидатах; нет измерения полной задержки, памяти и стоимости такого перебора. Локальный уточнитель обучается только на кандидатах с исправимой ошибкой не более пяти секунд и не способен заменить глобальный поиск. Разница CfC и GRU не доказывает превосходство всех непрерывных моделей при любых настройках.
Фишка из статьи. Таблица 2 удерживает набор кандидатов неизменным и заменяет только выбор LALM на недостижимый на практике выбор по истинному интервалу. Уточнение границ в этом опыте ещё не включено.
| Пул Qwen3-Omni | Выбор | mIoU, % | R@0,5, % |
|---|---|---|---|
| Один порог выращивания | Модель | 42,72 | 42,49 |
| Один порог выращивания | По эталону | 51,04 | 55,63 |
| Объединение двух порогов | Модель | 43,45 | 45,54 |
| Объединение двух порогов | По эталону | 55,20 | 61,97 |
Как это читать: расширение пула улучшает потенциальное покрытие сильнее, чем реально используемое качество. Следующая полезная задача может состоять в ранжировании уже найденных вариантов, а не только в ещё более точном предикторе границ. Эталонный выбор является диагностическим пределом данного пула, не результатом готовой системы и не гарантией достижимости этих процентов.
Источник. Оригинальное название: Query-Conditioned Liquid Temporal Grounding for Long-Form Audio. arXiv:2610.31252; полный текст PDF.