Long Listening Thoughts: обучение аудиорассуждениям через подробное восприятие и исправление ошибок
Ошибка ответа о звуке часто начинается с неполного восприятия, а не с недостаточной длины рассуждения. Long Listening Thoughts строит обучающие примеры с отдельными смысловыми, акустическими и временными описаниями и показывает, как использовать исправление неверного решения. Неожиданный результат: прямо обучать модель воспроизводить длинную цепочку с первоначальной ошибкой может быть хуже, чем оставить этот материал для обучения предпочтениям.
Метод. Четыре стадии создают подробные описания записи, более сложные вопросы, специально ошибочные решения и их продолжения с проверкой либо исправлением. Исходные 338 тысяч клипов ограничены длительностью 30 с; добавляются 316 тысяч вопросов и суммарно около 1,6 млн цепочек. Для Qwen2.5-Omni-7B сначала используются 1,16 млн правильных и уточняющих примеров SFT, затем 60 тысяч пар DPO трёх типов, включая противопоставление ошибки её исправлению. Учителя и инструменты построения доступны, но требуют нескольких крупных моделей и отдельных акустических анализаторов.
Результаты. Без дополнительного GRPO двухэтапный вариант повышает точность MMAU Test-mini с 71,5 до 78,2%, MMAR с 56,7 до 63,7%, MMSU с 60,6 до 66,0%. Вклад DPO после лучшего полного SFT равен соответственно 1,9, 1,5 и 1,0 процентного пункта. Работа отдельно проверяет продолжение ответа после мест самопроверки: исправления чаще восстанавливают правильный ответ, чем портят его, но это относится к выбранным ответам с соответствующими признаками самопроверки.
Ограничения. Основное обучение исследовано на одном семействе 7B, а данные и обратная связь в значительной мере синтетические. Короткие клипы не проверяют устойчивое понимание длинных разговоров. Подробный текстовый след не является прямым измерением внутреннего механизма восприятия; авторы дополняют его поведенческими тестами, но не устраняют все ошибки учителей. Цена создания корпуса и более длинного ответа должна оцениваться отдельно от роста точности.
Фишка из статьи. В таблице 1 одно и то же содержательное умение исправлять ошибку полезно в одном режиме обучения и мешает в другом. Ниже полный объём данных; все числа являются точностью в процентах.
| Обучение | MMAU | MMAR | MMSU |
|---|---|---|---|
| SFT: правильные и уточняющие решения | 76,3 | 62,2 | 65,0 |
| SFT: дополнительно неверное решение с исправлением | 75,8 | 61,4 | 64,1 |
| SFT, затем DPO с контрастом ошибок | 78,2 | 63,7 | 66,0 |
Как это читать: увеличение разнообразия и длины объяснений само по себе не гарантирует улучшение. При обычном воспроизведении последовательности модель учится и ошибочному промежуточному тексту. Предпочтительное обучение использует этот текст как отрицательный контраст, а не как безусловную цель. Это важное различие при подготовке собственных корпусов рассуждений о речи и звуке.
Источник. Оригинальное название: Long Listening Thoughts: Eliciting Open Auditory Reasoning with Deliberative Perception and Cognitive Refinement. arXiv:2610.24409; полный текст PDF.