AudioHelix: поиск по двум иерархическим графам для рассуждений над длинными аудиозаписями

Для вопроса о длинном интервью часто нужны несколько разнесённых моментов, а не вся запись подряд. AudioHelix связывает текстовые понятия и акустически похожие фрагменты в двухуровневой по модальностям иерархии и передаёт отвечающей модели только найденные свидетельства. Задача состоит в сохранении звуковых нюансов при сокращении входа, а не просто в поиске по транскрипции.

Метод. Запись заранее делится на блоки 30–45 с и акустические единицы 5–6 с. Qwen2.5-Omni создаёт транскрипции, описания событий и текстовые понятия; аудиовекторы группируются спектральной кластеризацией. Граф связывает понятия, единицы и исходные блоки. При вопросе сходство распространяется по общим узлам, затем Personalized PageRank выбирает блоки, а внутри них по две звуковые единицы. Ответ строится по этим отрывкам вместе с описаниями в исходном временном порядке. Индекс строится один раз, но его подготовка сама использует языковую модель.

Результаты. С Qwen3-Omni-30B точность TraceAV повышается с 71,3 до 71,6%, MMAU-Pro с 66,1 до 67,2%, F1 AudioMarathon с 63,7 до 66,1. С Voxtral-3B на MMAU-Pro прирост больше, 40,9→56,5%. На 100 примерах TraceAV для Audio-Flamingo-3 время ответа сокращается с 17,52 до 1,58 с, но индексирование требует 391,45 с на запись средней длиной 32,9 минуты. Это ускорение повторных вопросов после подготовки, а не полного первого запроса.

Ограничения. Вычислительная проверка выполнена на восьми RTX Pro 6000, доверительные интервалы для качества не приведены. Текстовые понятия и описания могут содержать ошибки, а удалённый при поиске звук уже нельзя восстановить на этапе ответа. Некоторые сравниваемые методы используют другие описания и процедуры поиска, что затрудняет выделение вклада графа. Полная транскрипция AudioMarathon исключена из оценки. Граф не выигрывает у простого поиска при каждой модели и задаче: для Audio-Flamingo-3 NaïveRAG сильнее на MMAU-Pro и AudioMarathon. Онлайн-обновление индекса оставлено будущей работе.

Фишка из статьи. Таблица 3 позволяет отделить стоимость первого вопроса от последующих. Ниже индексирование и задержка ответа в секундах для одного и того же опыта; сумма двух столбцов является только иллюстрацией первого обращения без готового индекса.

Как это читать: выигрыш 11,1 раза относится к последнему столбцу. Если приближённо считать расходы постоянными, 391,45 с окупятся относительно всей записи лишь примерно после 25 вопросов, без учёта хранения, параллелизма и прочих издержек. Для единичной записи с одним вопросом эта система может быть дороже, для многократного анализа архива полезнее. Нужны отдельно полнота найденных свидетельств, качество ответа и полная стоимость жизненного цикла индекса.

Источник. Оригинальное название: Hierarchical Dual-Graph Retrieval for Long-form Audio Reasoning. arXiv:2610.41390; полный текст PDF.