ETC-Bench: многоязычная проверка приведения расшифровок к единой форме при оценке распознавания

Речь не всегда позволяет выбрать между цифрой и её словесной записью или между одинаково звучащими именами. ETC-Bench проверяет нормализатор, который независимо приводит такие расшифровки к общей форме, не подглядывая в эталон. Это полезный шаг к честному WER, но не разрешение исправлять реальные ошибки распознавания с помощью языковой модели.

Метод. В наборе 1098 минимальных пар, 181 тип явлений и 12 языков, включая русский. Кандидаты созданы языковой моделью и проверены носителями. Каждая пара отличается одним целевым фрагментом: числом, символом, сокращением, вариантом написания или омофоном. Метрика SENA требует точного совпадения двух независимо нормализованных строк и ограничивает потерю информации через BERTScore относительно сходства исходной пары. TACS задаёт языковому агенту описание явления, однозначную целевую форму и запрет менять остальной текст.

Результаты. Средний SENA у TACS-GPT, TACS-DeepSeek и TACS-Qwen равен 43,3, 43,8 и 68,8%; без специализированных инструкций у тех же конфигураций 3,5, 4,6 и 13,9%. На русском результаты 40,3, 48,3 и 75,3% против 4–5% у обычных нормализаторов. Это оценка специально составленных пар, а не снижение WER на полном речевом корпусе. Среднее FunASR-TN 9,4% считается по четырём поддерживаемым языкам, поэтому его нельзя прямо сопоставлять с двенадцатиязычным средним.

Ограничения. На тип явления приходится немного примеров; естественное распределение ошибок здесь не воспроизводится. Канонизация омофонов намеренно удаляет письменные различия, которых нет в звуке, и может быть неприемлема для задач с внешним контекстом или обязательным написанием имён. BERTScore не гарантирует семантическую сохранность. Не измерены стоимость, задержка и стабильность агентов на массовой оценке; одна модель доступна через стороннего поставщика. Нужен отдельно версионируемый нормализатор, а не скрытая постобработка под конкретный эталон.

Фишка из статьи. Защита от разрушительной очистки зависит от допуска δ в SENA. Статья разбирает 81 случай Whisper, где удаление значимых знаков бенгальской и хинди-письменности делает разные строки одинаковыми. Точное совпадение само по себе поощрило бы такие ошибки.

Как это читать: допуск был выбран до опытов, но его ослабление уже заметно меняет трактовку повреждённого текста. Для собственного языка нужно проверять не только число устранённых расхождений, но и конкретные слияния, потерю чисел, диакритики и отрицаний. Иначе улучшение WER после нормализации может оказаться исчезновением информации, а не более справедливой оценкой.

Источник. Оригинальное название: ETC-Bench: A Multilingual Benchmark for Evaluation-Side Transcript Canonicalization. arXiv:2610.36527; полный текст PDF.