AudioRSI: рекурсивное улучшение аудиомодели через самопроверку рассуждений

Правильный ответ на аудиовопрос может получиться из удачной догадки, а не из услышанного. AudioRSI добавляет к награде за итог попарное сравнение рассуждений копией той же модели, которая также получает запись. Критик периодически заменяется улучшенной моделью, но процесс по-прежнему опирается на правильные ответы обучающего набора и не является обучением без внешних меток.

Метод. Qwen2.5-Omni-7B обучается GRPO на аудиодорожках AVQA. Для вопроса создаются восемь траекторий; критик сравнивает каждую с остальными и выдаёт победу, ничью или проигрыш. Среднее сравнение дополняет награды за правильность и формат. Копия критика фиксирована внутри 200 шагов, затем обновляется только при отсутствии регрессии точности на обучающем мини-пакете. Это ограничивает подвижность функции награды, не доказывая достоверность всех промежуточных объяснений.

Результаты. На MMAU test-mini точность 76,10% против 74,60% у повторно оценённого Ke-Omni-R с наградой только за итог. Для звуков 82,58 против 79,28%, речи 76,58 против 74,47%, музыки 69,16 против 70,06%: улучшение не универсально. Проверяются ещё MMSU, MMAR и MMAU-Pro; небольшие преимущества по долям пункта авторы считают сопоставимыми результатами. Обучение 6400 шагов занимает 3–4 дня на восьми H200; каждые восемь траекторий требуют 56 направленных сравнений критика.

Ограничения. По одному запуску на конфигурацию, одна основа и один обучающий корпус. Период обновления подбирался на MMAU test-mini, поэтому другие наборы являются более чистой проверкой переноса. Сравнение с замороженным внешним судьёй одновременно меняет его происхождение: периодический опыт со своим критиком информативнее. Четыре случая с тремя аннотаторами и частотность ключевых слов не доказывают общую достоверность рассуждения или снижение галлюцинаций. Полная временная надбавка к обычному GRPO на одинаковом оборудовании не измерена.

Фишка из статьи. Таблица 8 показывает немонотонность частоты самопроверки: слишком быстрое обновление критика теряет выигрыш, а редкое не успевает за моделью. Ниже общая точность MMAU test-mini при одной и той же схеме наград.

Как это читать: 200 и 500 шагов практически равны в одном запуске; объявлять узкий оптимум 200 надёжно установленным нельзя. Рекурсивное улучшение здесь имеет ограниченный проверяемый смысл: предыдущая версия поставляет дополнительный обучающий сигнал следующей. Оно не снимает цену попарных проходов, проверку по правильному ответу и риск закрепления собственных акустических ошибок.

Источник. Оригинальное название: AudioRSI: Recursively Self-Improving Audio Reasoners. arXiv:2610.36578; полный текст PDF.