Языковые корректоры портят верные транскрипции: раздельный учёт исправлений и повреждений

Работа показывает, почему один итоговый WER недостаточен для оценки языкового корректора распознавания. Корректор одновременно исправляет ошибочные слова, портит правильные и меняет число вставок; одинаковый WER может скрывать совершенно разное поведение. Передача исходного аудио заметно уменьшает вредные правки Gemini 2.5 Flash, но не обеспечивает одинаковый прирост исправлений во всех режимах.

Метод. Изменение WER точно раскладывается на восстановленные токены, повреждённые токены и разность вставок относительно фиксированного выравнивания. Сравниваются коррекция собственного черновика аудиоязыковой модели и коррекция независимого GigaAM либо Whisper. В каждом случае аудио добавляется или убирается; отдельный контроль заново распознаёт только звук. После требования непустых ответов во всех условиях остаются 2260 синтетических русских реплик, 270 фрагментов RuLibriSpeech и 284 английские медицинские диктовки.

Результаты. В собственном черновике аудио уменьшает долю испорченных изначально безошибочных реплик с 31,9 до 2,6%, с 16,3 до 1,0% и с 12,8 до 2,3% соответственно. Однако на естественной речи разницы итогового WER между коррекцией с аудио и без него надёжно не обнаружено. При коррекции независимого распознавателя добавление аудио улучшает WER на 1,48, 1,18 и 1,57 процентного пункта относительно текстового корректора.

Ограничения. Инструкции различаются вместе с наличием аудио, поэтому причинный эффект одного звука не изолирован. Пустые ответы исключены, особенно много их в синтетическом наборе; проверки устойчивости сохраняют направления эффектов, но не уровни. Доверительные интервалы не учитывают кластеризацию дикторов. Открытый Voxtral почти не редактирует текст и не воспроизводит весь рисунок эффектов: обобщение на любые языковые модели необоснованно.

Фишка из статьи. На медицинской диктовке собственный черновик демонстрирует, как итоговая метрика прячет снижение вреда. Таблица 2 сравнивает режим с аудио с текстовым; все величины выражены в процентных пунктах WER.

Как это читать: система существенно реже портит верные слова, но одновременно меньше исправляет и оставляет больше вставок. По одному числу −0,09 это поведение не восстановить. Часть расхождений связана с написанием составных слов и заполнителями пауз, поэтому разложение полезно читать вместе с нормализацией и примерами, а не считать все изменения одинаково важными для содержания.

Источник. Оригинальное название: Text-Only LLM Correctors Break Correct Transcripts: A Repair-Damage Analysis of Audio Grounding in ASR Error Correction. arXiv:2610.30385; полный текст PDF.