Вклад локального звука в речевую языковую модель: контрфактическое удаление интервалов слов
Правильно распознанное слово не обязательно сильно зависит от своего локального звука. AEC измеряет, насколько падает вероятность эталонного слова, если заменить только его выровненный акустический интервал. Метод разделяет правильность ответа и локальную акустическую опору, не объявляя каждое угаданное по контексту слово галлюцинацией.
Метод. Для исходной и изменённой записи фиксируют эталонный префикс и токенизацию, затем усредняют разницу логарифмов вероятностей сначала по токенам слова, потом по словам интервала. Экспонента AEC даёт нормированный геометрический коэффициент AEF; порог 2 делит вклад на высокий и низкий. Интервал находят Montreal Forced Aligner, заменяют тишиной, а для проверки устойчивости шумом или музыкой с плавными 20-мс границами. Отдельное свободное декодирование после замены проверяет сохранение слова. Оценены шесть моделей на LibriSpeech, AMI и TED-LIUM.
Результаты. Среди правильно распознанных одиночных слов доля AEF не выше 2 составляет в среднем по корпусам от 33,1% у Audio Flamingo Next до 48,7% у MERaLiON-3-ASR. После удаления звука слово сохраняется в 76–83% случаев нижней квинтили AEC и примерно в 1% верхней. Между WER и этой долей нет заметной ранговой связи на 18 сочетаниях модели и корпуса, Spearman 0,03. При выбранном пороге превышение отмечается у 69,8% удалённых интервалов и лишь у 1,33% далёких нетронутых слов.
Ограничения. Нужны эталонная транскрипция, принудительное выравнивание и доступ к вероятностям токенов; это не готовый безэталонный онлайн-детектор. Вставки не представлены, поскольку у них нет эталонного акустического интервала. Удаление локального звука не удаляет следы слова из соседних фрагментов или глобального кодировщика. Порог 2 интерпретируем, но не является универсальной границей достаточности акустики. Вычисления требуют парных проходов и отдельных вмешательств, поэтому цена существенно выше обычного WER.
Фишка из статьи. Таблица III показывает, что меньшая ошибка и большая зависимость от локального слова не совпадают. LCCS считается только среди правильно распознанных целей и потому не является долей всех ошибок или галлюцинаций.
| Модель | Средний WER, % | Правильные слова с низким вкладом, % |
|---|---|---|
| Granite Speech 4.1 | 5,2 | 43,7 |
| Audio Flamingo Next | 6,5 | 33,1 |
| Qwen3-ASR | 7,2 | 33,8 |
| MERaLiON-3-ASR | 8,1 | 48,7 |
| Whisper-v3 | 9,8 | 36,4 |
Как это читать: Granite имеет лучший WER, но не минимальную LCCS. Это не недостаток по определению: контекстная избыточность может быть полезна. Новый показатель нужен для другого вопроса: продолжит ли система уверенно выдавать слово после исчезновения его локального свидетельства? Именно парное вмешательство, а не высокая уверенность исходного ответа, делает этот вопрос измеримым.
Источник. Оригинальное название: Measuring Local Acoustic Contribution in Speech LLMs via Word-Span Counterfactual Interventions. arXiv:2610.33077; полный текст PDF.