Listen-to-Reason: слушать экспертами, извлекать по графу, рассуждать с LLM
Listen-to-Reason отделяет слух от рассуждения: несколько замороженных аудиоэкспертов превращают запись в читаемое дерево признаков, после чего обычная текстовая LLM отвечает на вопрос. Такая схема уступает лучшим сквозным аудиоязыковым моделям на части тестов, зато позволяет менять рассуждающую модель без переобучения аудиочасти и причинно проверять отдельные признаки.
Метод. Специализированные энкодеры с небольшими головами определяют события, животных, эмоцию, пол, язык и другие атрибуты; маршрутизатор выбирает полезные узлы графа, рядом добавляется расшифровка речи. Замороженная текстовая LLM получает структурированное описание. Для нового класса достаточно обучить небольшую голову на нескольких записях, а не дообучать всю аудиоязыковую модель.
Результаты. С Qwen2.5-7B система получает 80,1 на SAKURA, 68,3 на MMAU, 51,6 на MMAR и 45,7 на MMAU-Pro. Qwen2.5-Omni лучше на трёх последних тестах, но хуже на SAKURA с 73,3. Замена текстового блока на Qwen2.5-32B без обучения поднимает SAKURA до 85,1 и MMAU-Pro до 49,8. В режиме пяти примеров на вид система достигает 79,6 для птиц и 65,2 для морских животных против 54,1 и 52,2 у QLoRA, обучая в 120–240 раз меньше параметров.
Ограничения. Потолок задают точность маршрутизатора, распознавания речи и фиксированная таксономия экспертов. На трёх из четырёх общих тестов система уступает сильной сквозной модели. Текстовый блок не может использовать акустический признак, которого нет в дереве, а независимые ошибки экспертов могут накапливаться.
Фишка из статьи. Авторы редактируют один узел дерева и повторно задают тот же вопрос. Подмена правильного признака ломает 78,3% ранее верных ответов, а подстановка эталонного узла исправляет 90,9% ошибок. При этом языковой узел ломает лишь 8% ответов, потому что язык часто дублирует расшифровка.
| Вмешательство | Эффект | Интерпретация |
|---|---|---|
| Неверный узел в правильном ответе | 78,3% ответов ломаются | граф действительно используется |
| Эталонный узел в ошибочном ответе | 90,9% ответов исправляются | ошибка локализуется в восприятии |
| Подмена животного, эмоции или пола | более 93% ломаются | сильная причинная зависимость |
| Подмена языка | 8% ломаются | расшифровка создаёт резервный канал |
Как это читать: это не просто визуализация внимания. Узлы можно целенаправленно менять и наблюдать предсказуемый результат, поэтому ошибка становится диагностируемой: неверно услышан признак или неверно выполнено рассуждение.