Audio-R1: обучение рассуждению о звуке на самосупервизируемых задачах
Для дообучения аудиоязыковой модели не всегда нужны новые вопросы с человеческими ответами. Audio-R1 автоматически строит задачи из самих записей: найти совпадающий фрагмент, выбрать вырезанный участок и восстановить порядок частей. Правильный ответ известен из конструкции, а обучение с подкреплением переносит часть этих навыков на независимые вопросы о речи, музыке и звуках.
Метод. Около 24 тыс. исходных записей из шести корпусов приводятся к моно 16 кГц. В первой задаче положительный пример — точная копия пятисекундного якоря, во второй пропущенный средний участок выбирается из четырёх вариантов, в третьей упорядочиваются три отрезка. GRPO использует восемь продолжений, бинарную награду ответа и вес 0,2 за правильные теги оформления. Речевой кодировщик заморожен, LoRA меняет языковую часть и связующий модуль; KL удерживает политику около исходной. Размеченные цепочки рассуждений или внешняя наградная модель для этих задач не нужны.
Результаты. Qwen2.5-Omni повышает точность MMAR/MMAU-mini/MMAU-Pro с 58,2/73,4/55,1 до 62,6/77,2/58,7%. Qwen3-Omni достигает 70,3/77,5/63,6%, улучшаясь по всем трём наборам; положительный перенос наблюдается также на Gemma4-e4b и AF-Next-Think. В контроле трёх запусков совместное обучение повышает средний показатель Qwen2.5-Omni с 62,2 до 66,2±0,8%. Обычное обучение по тем же правильным ответам тоже улучшает исходные задачи, но слабее переносится на внешние тесты.
Ограничения. Точное совпадение волны проверяет акустическое соответствие, не полноценную идентичность диктора или события. Искусственная тишина и чужие фрагменты могут давать удобные низкоуровневые подсказки. Награда верного финального ответа не гарантирует достоверности промежуточного объяснения. Оценка объяснений одним аудиоусловным Gemini остаётся автоматической и не доказывает причинную роль рассуждения. Основной перенос показан на трёх тестах выбора ответа, а не на потоковой работе, открытых описаниях или распознавании речи в производственных условиях.
Фишка из статьи. Таблица 2 сравнивает отдельные задачи при выровненном числе обновлений. Важен перенос на задачи, которых модель в данном варианте не решала при обучении, и дополнительный эффект их совместного использования.
| Обучение Qwen2.5-Omni | Совпадение фрагмента, % | Вставка участка, % | Порядок, % | Среднее внешних тестов, % |
|---|---|---|---|---|
| Исходная модель | 80,7 | 75,0 | 27,3 | 62,2 |
| Только совпадение | 95,7 | 84,7 | 32,5 | 64,4±0,6 |
| Только вставка | 87,0 | 94,1 | 35,7 | 64,8±0,5 |
| Только порядок | 82,3 | 88,3 | 53,2 | 64,0±1,2 |
| Все три | 97,6 | 96,4 | 59,7 | 66,2±0,8 |
Как это читать: совместное обучение лучше отдельных вариантов даже на каждой их собственной задаче, а не просто усредняет узкие навыки. При этом таблица уточняет округлённое описание в тексте: вставка 96,4−75,0 означает +21,4 п.п., не указанные рядом +15,4. Для оценки воспроизводимости следует опираться на опубликованные строки и повторные запуски, сохраняя это расхождение.
Источник. Оригинальное название: Audio-R1: Audio Reasoning through Reinforcement Learning on Self-Supervised Tasks. arXiv:2610.34609; полный текст PDF.