Модель слышит больше, чем сообщает: временные сведения в замороженных аудиоязыковых моделях

Работа проверяет, означает ли плохая выдача временных меток, что аудиоязыковая модель вообще не различает момент изменения звука. На музыкальных дорожках один и тот же интервал описывается как состояние инструментов и как переход между состояниями. Локальная проверка по окнам часто обнаруживает временные сведения, которые теряются при просьбе сразу разметить всю запись; однако эффект зависит от устройства аудиокодировщика.

Метод. Семь открытых замороженных моделей оцениваются на 570 парах интервалов Slakh2100, то есть 1140 запросах. Сравниваются полный трек с выдачей меток, скользящее окно с оценкой ответа «да/нет» и локализация по вниманию. Проверяемое событие относится к последним двум секундам окна; перед ними добавляются ноль или восемь секунд контекста. Отдельно оцениваются обычный поиск и поиск с известной длительностью целевого интервала, чтобы не смешивать распознавание события с выбором его длины.

Результаты. В обычном поиске изменений Qwen3-Omni-30B повышает R@1 при IoU 0,3 с 0,102 до 0,312 при добавлении контекста. При известной длительности R@1 при IoU 0,5 растёт с 0,118 до 0,268. Напротив, запрос ко всей записи даёт для этой модели только 0,025 на запросах изменений. В таком режиме ни одна ячейка результатов не превосходит постоянную базовую стратегию с убедительным по принятому доверительному интервалу запасом.

Ограничения. Это синтетические музыкальные сцены, а не доказательство решённой временной локализации речи. Восьмисекундное начало исключено из кандидатов после обнаружения артефакта дополнения нулями; это раскрытое, но важное решение протокола. Различия короткооконных и дополненных до 30 секунд кодировщиков смешаны с масштабом и обучением моделей, поэтому причинный эффект архитектуры не изолирован. Проверка заданного окна также проще независимого поиска произвольной границы.

Фишка из статьи. Контекст не является универсальным улучшением. В таблице 1 для одной задачи поиска изменения и одной метрики R@1 при IoU 0,3 модели реагируют на одинаковое расширение окна противоположным образом.

Как это читать: более длинное окно может как раскрывать переход между состояниями, так и размывать полезный сигнал. Плохой ответ на запрос временных меток нельзя автоматически приписывать только слабому слуховому представлению: мешать могут формат запроса, способ считывания и обработка длительности. Практический вывод состоит в раздельной проверке этих звеньев, а не в выборе самого длинного контекста по умолчанию.

Источник. Оригинальное название: Heard But Not Said: Prompting Understates Temporal Information of Musical Moments in Frozen Large Audio-Language Models. arXiv:2610.29256; полный текст PDF.