Оценка распознавания Ключевые фразы Наборы данных
arXiv cs.CL

KeyASRBench: сохранение значимых фраз при распознавании реальной речи

ArXiv:2611.10852

Низкая средняя WER не гарантирует, что распознаватель правильно передаст название продукта, организацию или версию модели. KeyASRBench оценивает сохранение выбранных значимых фраз целиком, а не сумму ошибок по всем словам. Основная ценность работы — явное определение единицы полезной информации и проверка того, как эта единица меняет ранжирование систем.

Метод. Десятичасовой китайско-английский набор содержит 1501 фрагмент из 273 групп записей, 3881 локально размеченную ключевую фразу и 4723 вхождения. KER считает пропущенные и лишние вхождения целых фраз; допустимые варианты фиксируются отдельно для каждого примера. NFKC и регистр нормируются, но границы версий сохраняются: например, одна версия не должна засчитываться как другая. Интервалы неопределённости строятся по исходным записям, а не по условно независимым словам.

Результаты. У семи систем обычная ошибка лежит примерно в диапазоне 5,31–12,91%, а общая KER — 13,61–33,81%. StepAudio 3 ASR Max имеет общую KER 13,61%, Qwen3-ASR-1.7B — 24,88%. При этом китайская MER у них почти совпадает: 5,31% и 5,35%. На английском Qwen лучше по WER, 5,95% против 6,27%, но хуже по ключевым фразам. Ни одна система не получает список ключевых слов или внешние подсказки.

Ограничения. Основной набор специально обогащён ошибками трёх заранее выбранных моделей, включая Qwen, поэтому не является несмещённым рейтингом обычного трафика. Контрольные 77 фрагментов отобраны без просмотра ошибок, но имеют другой состав источников и лишь 216 вхождений. Аудио, разметка и детальное происхождение остаются в закрытой среде; публичный отчёт не равен открытому воспроизводимому корпусу. KER не проверяет порядок всех слов и семантические отношения за пределами выбранных фраз.

Фишка из статьи. Таблица 2 показывает конкретное расхождение двух метрик. Сравнивать китайскую MER с английской WER напрямую нельзя, зато внутри каждого языка можно увидеть смену предпочтительного распознавателя.

СистемаКитайская MER, %Китайская KER, %Английская WER, %Английская KER, %
Qwen3-ASR-1.7B5,3533,495,9514,87
StepAudio 3 ASR Max5,3118,876,277,51

Как это читать: разница 0,04 пункта по китайской общей ошибке соседствует с 14,62 пункта по значимым фразам. Это аргумент добавлять предметно важную метрику к WER, а не заменять WER одной KER. Из-за модельно обусловленного отбора величину разрыва нельзя без проверки переносить на произвольные записи или использовать как окончательный продуктовый рейтинг.

Источник. Оригинальное название: KeyASRBench: Measuring Whole-Phrase Keyword Preservation in Real-World ASR. arXiv:2611.10852; полный текст PDF.

Оригинальная статья на arXiv