PronCFT: обучение распознавателя использовать произношение редких слов, а не знакомое написание

Список редких слов с произношением полезен только тогда, когда распознаватель действительно сопоставляет фонемы со звуком. PronCFT препятствует более простому обходному пути: выбирать знакомое написание или считать наличие фонетической пометы признаком правильного кандидата. Для этого обучение включает намеренно изменённые написания при сохранённом произношении.

Метод. У Qwen3-ASR-1.7B заморожены акустический кодировщик и проектор, на GigaSpeech настраивается языковой декодер. Цель сначала состоит из фонемной расшифровки, соответствий контекстным кандидатам и итогового текста. Словарь на 1,3 млн записей объединяет CMUdict с автоматически полученными произношениями. В обучении все кандидаты снабжаются фонемами; некоторые написания заменяются несловарными вариантами. Последовательность стадий постепенно убирает вспомогательные выходы. Тест включает 10 533 фразы со словами вне CMUdict и 20–500 отвлекающих кандидатов.

Результаты. В таблице 2 PronCFT-C достигает полноты редких слов 83,57% в структурированном режиме против 59,89% у Giga-SFT без фонем. Важно разделять режимы: обычная текстовая выдача PronCFT-C с фонемными кандидатами даёт 70,64%, без них 61,08%; 83,57% нельзя приписывать любому однопроходному ответу. Средний WER по шести общим тестам остаётся близким: 6,01% против 6,05% у Giga-SFT. Выигрыш сосредоточен в контролируемом распознавании слов из списка, а не в общем скачке качества.

Ограничения. Неизвестность определяется отсутствием в CMUdict, а не отсутствием слова во всём предобучении. Нужны доступный список кандидатов и достаточно точное произношение. Часть фонетического словаря получена большой моделью; её ошибки могут переходить в условия. Проверен английский, а обещанное уменьшение задержки не сопровождается полной аппаратной оценкой. Большое внимание к фонемам само по себе не считается причинным доказательством правильного сопоставления.

Фишка из статьи. Контрфактический тест сохраняет произношение, но меняет написание целевого слова. Если система действительно следует звуку и словарю, она должна выдать новое написание, а не привычное.

Как это читать: PAC сохраняет привычный ответ даже при неверной фонетике, тогда как PronCFT сильно зависит от содержимого подсказки. Такая зависимость подтверждает использование фонем, но одновременно показывает цену ошибочного словаря. Это более содержательная проверка механизма, чем один рост полноты на корректно подготовленном списке.

Источник. Оригинальное название: PronCFT: Pronunciation Contextual Fine-Tuning for Contextual Biasing of Out-of-Vocabulary Words in LLM-Based ASR. arXiv:2610.25766; полный текст PDF.