Ответы аудиоязыковой модели: голосование с учётом уверенности вместо выбора самого уверенного

Если аудиоязыковая модель несколько раз отвечает на один вопрос, самый уверенный ответ не обязательно самый правильный. Работа сравнивает выбор отдельного кандидата с объединением повторных ответов по их вероятностям и рангу. Полученный выигрыш относится к дополнительным вычислениям при ответе, а не к новому кодировщику звука или дообучению модели.

Метод. На MMAR с тысячей вопросов и четырьмя вариантами запускают четыре модели: Qwen 3 Omni в двух режимах, Qwen 2 Audio и Audio Flamingo 3. Для каждого вопроса получают 3, 4, 8 или 16 кандидатов. Уверенность строится из нормированной по длине логарифмической вероятности рассуждения и ответа; это не независимое измерение достоверности. Сравниваются обычное большинство, наиболее уверенный кандидат, взвешивание LSE и SoftLSE и ранговое голосование Борда. У двух моделей варианты дополнительно извлекаются отдельной Llama 3.1 8B, а некорректные ответы исключаются.

Результаты. В среднем по четырём моделям увеличение числа кандидатов с трёх до шестнадцати даёт голосованию Борда 3,50 п.п. точности, большинству 2,77 п.п., выбору самого уверенного 1,11 п.п. Для LSE прирост составляет 3,35 п.п. Показатель калибровки ECE при этом обычно уменьшается. Выигрыш связан прежде всего с вопросами, где кандидаты расходятся; высокий консенсус сам по себе предсказывает более высокую точность. После примерно восьми ответов отдача часто насыщается.

Ограничения. Это один набор вопросов с вариантами, а не свободный диалог или длительное рассуждение. Независимое разделение для настройки параметров объединения описано недостаточно ясно. Отбрасывание некорректных вариантов и отдельная модель разбора добавляют вычисления и влияют на состав оцениваемых ответов. Увеличение с трёх до шестнадцати генераций означает в 5,33 раза больше кандидатов, но измеренной задержки, энергии и стоимости нет. Нельзя автоматически переносить полученную калибровку на другой набор, язык или тип вопроса.

Фишка из статьи. Таблица 2 показывает изменение внутри каждого способа при переходе N = 3 → 16. Такая постановка отделяет пользу дополнительных кандидатов от сравнения способов при одинаковом бюджете.

Как это читать: число 3,50 не означает преимущество Борда над большинством на 3,50 п.п.: это собственная прибавка Борда от большего N. У NaivePick растёт точность, но практически не улучшается калибровка. Следовательно, дополнительные ответы и грамотное объединение решают разные части задачи, а выбор самого уверенного кандидата использует добавленный бюджет заметно хуже голосования.

Источник. Оригинальное название: Confidence-Aware Aggregation for Multimodal Audio Reasoning. arXiv:2611.04580; полный текст PDF.