Confucius4-R2T2: потоковое распознавание с неизменяемым выданным текстом
Для голосового агента исправление уже использованного слова опаснее обычного мерцания субтитров. R2T2 адаптирует Qwen3-ASR-1.7B к выдаче текста, который больше не меняется, и учит специальному решению Wait для неопределённого продолжения. Ключевой результат — сочетание стабильной выдачи с малыми блоками; заявленное отставание при этом не является измеренной задержкой сервера.
Метод. Кодировщик и проектор остаются замороженными, обучается языковой декодер. Разметка допустимого префикса строится ретроспективно относительно полного ответа базовой модели: засчитываются целые ранее полученные ответы, полностью согласованные с ним, а не удачные начала ответов с ошибочным хвостом. Далее используются SFT и GRPO с поощрением правильного ожидания. При применении можно временно удерживать U последних токенов внутри системы; только подтверждённая часть поступает пользователю. Кэширование, активное акустическое окно не более восьми секунд и ограничение текстовой истории удерживают стоимость обновления на длинных потоках.
Результаты. На восьми английских и пяти китайских наборах при блоках 160 мс и U = 1 средняя по наборам ошибка составляет 5,76% против 21,01% у неадаптированного Qwen в том же режиме и 5,15% у полного офлайн-входа. Это среднее WER и CER с одинаковым весом наборов, не объединённый WER. На LibriSpeech clean WER равен 1,91%, other 4,12%. При 80 мс и U = 0 среднее ретроспективное отставание ниже полусекунды для обоих языков, с некоторой потерей точности.
Ограничения. Для адаптации использованы около 1500 часов закрытых английских и китайских данных. Полный ответ базовой модели служит ориентиром стабильности, но сам может быть неверным. Расчёт отставания учитывает совпавшие слова и исключает сильно ошибочные фразы, не включая вычисление, очередь, передачу и отображение. Авторы прямо не проверяют измерениями, успевает ли реализация за реальным временем. Коммерческие API имеют неизвестную буферизацию. Неизменность ошибочного префикса также не делает его правильным.
Фишка из статьи. Таблица 3 показывает цену внутреннего удержания одного токена. Ниже одинаковое усреднение по 13 наборам; офлайн и двухсекундный режимы являются справочными, а не сопоставимыми по задержке.
| Модель и режим | Размер блока | Внутренний пересматриваемый хвост | Средняя ошибка по наборам, % |
|---|---|---|---|
| Базовый Qwen, полный вход | Полная фраза | Не применимо | 5,15 |
| Базовый Qwen, поток | 160 мс | 1 токен | 21,01 |
| R2T2 | 160 мс | 0 токенов | 6,40 |
| R2T2 | 160 мс | 1 токен | 5,76 |
Как это читать: один внутренний токен уменьшает ошибку примерно на десятую часть, но задерживает подтверждение на несколько десятых секунды. Для пользователя оба режима R2T2 остаются неизменяемыми: пересматривается лишь ещё не выданный хвост. Один токен не равен постоянному числу миллисекунд, поскольку его длительность зависит от языка, разбиения текста и темпа. Поэтому стабильность, точность и своевременность следует измерять раздельно.
Источник. Оригинальное название: Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription. arXiv:2611.06043; полный текст PDF.