OpenPA: многоуровневая оценка произношения без принудительного выравнивания с адаптацией к смешанным расшифровкам
OpenPA оценивает произношение на уровне слов и всей фразы без принудительного выравнивания во время применения. Главный ход состоит в том, чтобы обучить Whisper-medium не доверять одной идеальной расшифровке: модель видит смесь эталонного текста, распознавания речи учащегося и расшифровок общего распознавателя, поэтому лучше переносит замены и пропуски слов в свободной речи.
Метод. К Whisper добавлены LoRA-параметры и специальные токены оценок слова и высказывания. При обучении эталонная, L2-ASR- и обычная ASR-расшифровки выбираются с вероятностями 0,5/0,3/0,2. Для заменённых слов вес целевой оценки адаптивно зависит от качества произношения, а не считается одинаково ошибочным для любого несовпадения текста.
Результаты. На speechocean762 при Whisper-medium.en (WER 20,1%) средняя корреляция Пирсона по показателям высказывания достигает 0,565 против 0,489 у MultiPA и 0,433 у HiPPO; с Whisper-large-v3 (WER 16,3%) — 0,588. При идеальном тексте результат возрастает до 0,780. В переносе без дообучения на MultiPA корреляции составляют 0,452 для слов, 0,783 для точности, 0,810 для беглости и 0,644 для просодии. На небольшом PathBench корреляция по дикторам равна 0,82, но это лишь разведочный клинический опыт.
Ограничения. Основная проверка проведена на читаемой английской речи носителей китайского языка; открытые ответы имитируются внутри того же корпуса. Принудительное выравнивание всё ещё используется при подготовке целей обучения, а клинический набор содержит всего 98 фраз от 21 человека.
Фишка из статьи. Абляция показывает, что польза появляется не просто от «грязных» расшифровок, а от явного обучения на заменённых словах и их адаптивного взвешивания.
| Обучение | Whisper-medium | Whisper-large-v3 | Qwen-ASR |
|---|---|---|---|
| Только эталонный текст | 0,118 | 0,152 | 0,076 |
| Смешанные расшифровки | 0,287 | 0,328 | 0,299 |
| Смешивание + адаптивные веса | 0,295 | 0,335 | 0,333 |
Как это читать: указана корреляция для слов, заменённых распознавателем. Без моделирования ошибок текста оценка почти теряет связь с экспертной разметкой; адаптивные веса особенно помогают при переносе на ранее не виденный Qwen-ASR.
Источник: arXiv:2610.13826. Оригинальное название: OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation.