Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems
Улучшение речи может повысить перцептивную оценку и одновременно ухудшить действие голосового агента. Авторы измеряют именно эту развилку: после шумоподавления или подавления эха сравнивают не только PESQ и разборчивость, но и то, изменился ли ответ распознавателя и смысловой классификатор намерения.
Метод. В опыте 2974 реальные записи SLURP с 77 намерениями. К ним применяются шум, эхо, реверберация и несколько способов обработки, затем Whisper large-v3 или wav2vec2-large создают расшифровку, а Gemini 2.5 Flash Lite определяет намерение. ODR — доля случаев, где конечный ответ отличается от ответа на чистый сигнал; она не требует считать чистую систему безусловно правильной и напрямую показывает нестабильность конвейера.
Результаты. Для шумного сигнала PESQ равен 1,76, STOI — 0,87, WER — 0,531, ODR — 0,135. MetricGAN+ поднимает PESQ до 1,94, но STOI падает до 0,80, WER растёт до 0,647, а ODR — до 0,318. В объединённых условиях ранговая корреляция PESQ с ODR равна −0,467, однако внутри отдельного типа искажения ни одна метрика не превышает |ρ|=0,34, большинство — 0,15. Из 4149 расходящихся случаев 90,4% меняют смысловую область, а не только действие внутри неё.
Ограничения. Искажения синтезированы по рецептам DNS, язык только английский, а семантика замкнута на 77 классах SLURP. Нужен чистый эталонный запуск, поэтому ODR не является рабочей безэталонной метрикой. Проверены ограниченные семейства распознавателей и один нейросетевой подавитель шума; субъективного прослушивания и живого диалога нет.
Фишка из статьи. MetricGAN+ создаёт тройное расхождение: PESQ улучшается, разборчивость и WER ухудшаются, а ответ агента меняется более чем вдвое чаще. Это конкретный случай, где оптимизация «приятнее звучит» не сохраняет машинно полезную информацию.
| Условие | PESQ | STOI | WER | ODR |
|---|---|---|---|---|
| Шумный сигнал | 1,76 | 0,87 | 0,531 | 0,135 |
| После MetricGAN+ | 1,94 | 0,80 | 0,647 | 0,318 |
| Эхо | — | — | 1,448 | 0,836 |
| Эхо + подавление эха | — | — | — | 0,404 |
| Подавление реверберации | — | — | — | 0,108 |
Как это читать: меньший ODR означает, что обработка сохраняет поведение всей системы относительно чистого входа. PESQ полезна как оценка искажения сигнала, но по этим данным её нельзя использовать как замену проверке смысловой устойчивости.