ReListen: поиск свидетельств в многочасовом аудио замороженной аудиоязыковой моделью

ReListen сначала ищет в длинной записи фрагменты, полезные для вопроса, а затем отвечает по выбранной минуте звука. Для основного поиска не нужен ни распознанный текст, ни дообученный поисковый модуль: замороженная модель сама оценивает полезность каждого окна. Важная оговорка: минутный бюджет относится к окончательному ответу, а предварительное сканирование всё равно проходит всю запись.

Метод. Qwen3-Omni-30B-A3B-Instruct оценивает вероятность ответа «да» относительно «нет» для 20-секундных окон с шагом 10 с. Выбираются три непересекающихся окна, которые подаются в хронологическом порядке с временными метками. Такой поиск имеет линейную по длительности стоимость и постоянную пиковую память при фиксированном пакете окон. Для вопросов о порядковом появлении события предложено отдельное расширение: два обучаемых акустических детектора и логистическая калибровка вероятностей кандидатов. Именно оно уже не свободно от дополнительного обучения.

Результаты. На VoiceGiraffe выбранные фрагменты хотя бы частично пересекают размеченное свидетельство в 88,5% вопросов против 58,8% у BM25 по транскрипции. Точность ответа составляет 62,0% против 52,8% по полной транскрипции той же модели и 40,7% по равномерным фрагментам. На LongAudioSpan результат 53,5% немного ниже 54,6% по всей записи. В измеренном варианте на одном GPU обработка VoiceGiraffe занимает в среднем 17,0 с на вопрос; пиковая память около 67,8 GiB, включая веса.

Ограничения. Проверена одна большая модель, английские и китайские материалы и преимущественно вопросы с вариантами. Для каждого нового вопроса требуется собственное сканирование. Частичное пересечение свидетельства не означает захват всех необходимых секунд. Для распределённых по записи аргументов нужна большая выборка аудио. Постоянная память не означает маленькую память или потоковую задержку; четыре GPU ускоряют независимые окна ценой дополнительных ресурсов.

Фишка из статьи. Таблица 4 сравнивает прослушивание с чтением транскрипции ровно тех же фрагментов. Это отделяет преимущество акустической информации от преимущества удачного поиска.

Как это читать: для содержания расшифровка почти сохраняет нужную информацию; для тембра, манеры речи и неречевых звуков потери намного больше. Поэтому улучшение нельзя объяснить тезисом «аудио всегда лучше текста». Практический выбор зависит от вопроса. Высокая точность локализации LAT-Bench тоже имеет предел: при IoU 0,7 ReListen уступает специализированной системе, хотя средняя IoU сопоставима.

Источник. Оригинальное название: ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models. arXiv:2611.04480; полный текст PDF.