Улучшение патологической речи через артикуляционное бутылочное представление

Работа пытается исправлять дизартрическую речь не заменой её на синтез по распознанному тексту, а редактированием промежуточной артикуляции в замороженной системе анализа и синтеза. Идея интересна интерпретируемостью, но эксперименты честно показывают: успех на синтетических нарушениях пока не переносится на естественную патологическую речь.

Метод. Небольшой остаточный преобразователь работает либо в артикуляционно контролируемом пространстве SAB, где координаты соответствуют движениям речевого аппарата, либо в равномерном неинтерпретируемом пространстве UAB той же размерности. Сначала он учится по MSE на синтетически искажённой параллельной речи, затем адаптируется CTC-потерей и состязательным критиком без парной здоровой записи.

Результаты. На синтетическом тесте UAB снижает фонемную ошибку с 32,0% до 9,4%, а WER Whisper — с 35,5% до 9,8%; SAB достигает 17,4% и 19,4%. В слушательском тесте UAB уменьшает WER с 29,7% до 21,6%, тогда как SAB даёт 31,8%. После адаптации на естественной речи UAB улучшает PER внутри контура ресинтеза с 39,5% до 34,5%, но остаётся хуже исходной записи с 31,3%.

Ограничения. Нулевой перенос с синтетики на естественную дизартрию проваливается: PER достигает 61,9–77,8%, а WER превышает 125%. Естественные данные малы, и улучшенная речь проходит через несовершенный вокодер. Интерпретируемый SAB заметно уступает UAB по разборчивости, поэтому связь с артикуляцией пока покупается ценой качества.

Фишка из статьи. Самый важный результат отрицательный: объективное исправление синтетической артикуляции не гарантирует, что слушатель лучше поймёт естественную патологическую речь.

Как это читать: преобразователь действительно учится исправлять предусмотренные генератором дефекты, но естественная дизартрия лежит вне этого распределения. Это полезное предупреждение против оценки медицинского улучшения только на синтетических нарушениях и автоматических распознавателях.