От транскрипции к переформулированию: оценка генеративного распознавания с опорой на речь

Расставить пунктуацию, устранить самоповтор и кратко изложить разговор полезно, но это разные степени свободы относительно произнесённых слов. GSR-Bench разделяет буквальную транскрипцию, нормализацию, смысловое переформулирование и структурирование. Работа предлагает оценивать читаемость отдельно от сохранности фактов, чтобы генеративное улучшение текста не маскировало домыслы.

Метод. Набор объединяет контекстное разрешение неоднозначных слов, переработку одних и тех же китайских встреч WenetSpeech под разные инструкции, перевод четырёх диалектных групп в письменный путунхуа и суммаризацию 700 отобранных примеров. Отдельный стресс-тест содержит 520 фрагментов шума, тишины, музыки и сильно ослабленной речи. Проверяются буквальные ошибки, семантические и стилевые оценки двух языковых судей и неподдержанная генерация. Демонстрационная UniGSR соединяет речевой кодировщик TeleASR с Qwen3-4B и выполняет разные режимы по инструкции.

Результаты. На переработке встреч UniGSR-Post имеет CER 54,44%, но общий балл судей 4,52/5; буквальный TeleASR CER 3,46% и балл 4,16. Такое расхождение не доказывает ни провал, ни превосходство без учёта задачи и отдельных оценок верности. В суммаризации UniGSR уступает Gemini по верности, 3,14 против 4,41/5. В стресс-тесте непустая генерация встречается у UniGSR в 15,0%, Qwen-ASR-1.7B в 9,8%, StepAudio-R1 в 5,4% случаев. Расширенная способность переформулировать сама по себе не обеспечивает лучшую привязку к аудио.

Ограничения. Основные данные китайские, часть диалектного материала синтетическая или закрытая. Агрегат языковых оценок смешивает стиль и точность, а подробная человеческая проверка отнесена к дополнительным материалам. Для тишины и музыки пустой ответ разумный эталон, но для слабой речи граница между распознаваемой информацией и галлюцинацией зависит от конкретной деградации. В статье описание этого поднабора не полностью единообразно. Не приведены доверительные интервалы для главных рейтингов и достаточная абляция обучения UniGSR; предложенная таксономия обоснована лучше, чем универсальное превосходство одной системы.

Фишка из статьи. Контекстный тест сохраняет буквальную задачу и позволяет увидеть, когда внешняя подсказка начинает вытеснять акустику. В таблице 2 все значения являются CER в процентах, меньше лучше.

Как это читать: одна и та же UniGSR выигрывает от списка ключевых слов и почти удваивает ошибку от профиля пользователя. Следовательно, «больше контекста» не является универсальной стратегией устойчивости. Для речевого помощника нужны проверки неправильных и чрезмерно конкретных подсказок, а для свободного переписывания отдельная сохранность имён, чисел, отрицаний и отношений: высокий балл плавности не должен компенсировать их потерю.

Источник. Оригинальное название: From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition. arXiv:2610.41292; полный текст PDF.