SpeakPay: Domain-Adaptive LoRA Fine-Tuning of Whisper for Low-Resource Nepali Financial Speech Recognition

SpeakPay исследует голосовой ввод финансовых поручений на непальском языке, где обычная ошибка распознавания особенно опасна: неверная цифра или получатель превращают хорошую расшифровку в неверную операцию. Авторы донастраивают Whisper large-v2 через LoRA на небольшом предметном наборе и оценивают не только WER, но и прохождение всей цепочки «намерение — сумма — получатель».

Метод. Набор NepFinSpeech-403 содержит 403 коротких финансовых высказывания, из которых 303 используются для обучения и 60 для проверки. После распознавания правила выделяют тип операции, сумму и получателя. Такой протокол полезнее обычного сравнения строк: он отделяет акустическую ошибку от того, насколько она повреждает смысл платёжной команды.

Результаты. Донастройка снижает WER с 129,95% до 42,58% и улучшает 59 из 60 проверочных фраз; точность чисел возрастает с нуля до 73,9%. Намерение определяется с точностью 98,33%, однако точное совпадение суммы достигает 54,39%, получателя — 42,11%, а полностью успешная операция — лишь 33,33%. При уличном шуме WER растёт до 54,40% при 10 дБ и до 103,85% при 0 дБ.

Ограничения. Набор очень мал, сведения о дикторах не сохранены, поэтому нельзя исключить пересечение голосов между обучением и проверкой. Разметку выполнял один человек, незрячие пользователи в испытании не участвовали, а обработчик команд опирается на узкий словарь намерений. Это исследовательский образец доступного интерфейса, а не готовая платёжная система.

Фишка из статьи. Падение WER выглядит большим, но разбор по этапам показывает, где именно теряется прикладная надёжность.

Как это читать: почти безошибочное распознавание намерения ещё не делает команду безопасной. Главный запас качества находится в сущностях, особенно в именах и числах, поэтому для практической системы нужны подтверждение пользователем и отдельная проверка критичных полей.