Qwen-Audio-3.1-ASR: технический отчёт о распознавании, диаризации и понимании аудио

Qwen-Audio-3.1-ASR расширяет семейство распознавателей до структурированной транскрипции с дикторами и временными метками, а также понимания звуковых событий. Это набор вариантов для разных режимов развёртывания, а не одна конфигурация с одинаковыми возможностями. Отчёт полезен разделением обычного распознавания, контекстных подсказок, задержки и диаризации, хотя часть проверок остаётся внутренней.

Метод. Обучение проходит через предварительную подготовку аудиокодировщика и аудиоязыковой модели, адаптацию языковой части, SFT, обучение с подкреплением и дистилляцию нескольких учителей. История распознанного текста задаёт контекст следующего фрагмента; словарь подсказок делится на приоритеты P0 и P1. Метки дикторов и общее понимание аудио доступны только в соответствующих непотоковых вариантах. В диаризации тесты приводятся к фрагментам около четырёх минут.

Результаты. В API-сравнении WER равен 1,23% на LibriSpeech-clean и 2,19% на other. Против предыдущего поколения other улучшается с 2,24%, но clean был 1,19%, а FLEURS-en меняется с 4,17 до 4,72%: обновление не монотонно лучше. Потоковый Flash-Message при десяти одновременных потоках показывает 100 мс до первого символа, 220 мс задержки выдачи текста и 103 мс до последнего символа в принятом протоколе.

Ограничения. Сравнения публичных опубликованных показателей и единообразного API-прогона разделены на панели: их нельзя безоговорочно смешивать. Задержка измерена на H100 с предположением сопоставимых сетевых условий, не на пользовательском устройстве. Многие специализированные тесты внутренние; полнота возможностей зависит от варианта. Четырёхминутная диаризация не доказывает устойчивое сохранение меток на произвольном часовом разговоре.

Фишка из статьи. Таблица 4 показывает, что высокий приоритет контекстного слова — существенная часть результата. Для одной категории Subject terms приведена полнота при включённых подсказках.

Как это читать: почти 99-процентная полнота высокого приоритета не является оценкой любого большого словаря. В широком наборе порядок систем уже иной. Кроме полноты нужны ложные срабатывания при неверном или отсутствующем целевом слове; данная таблица сама по себе не доказывает устойчивости к таким подсказкам. Для выбора системы важно сопоставлять задачи и режимы, а не только лучший показатель семейства.

Источник. Оригинальное название: Qwen-Audio-3.1-ASR Technical Report. arXiv:2610.28711; полный текст PDF.