Адаптация распознавания хауса по текстам: медицинская лексика или просто языковая модель?

Внешняя языковая модель заметно улучшает распознавание медицинских фраз на хауса без дообучения акустической сети. Но главный контроль показывает, что почти весь выигрыш даёт уже общая языковая модель, а специфический вклад медицинского корпуса мал. Это полезное различие между улучшением декодирования вообще и доказанной предметной адаптацией.

Метод. Фиксированная MMS-1B-FL102 с головой хауса используется с 4-граммной KenLM. Shallow Fusion добавляет вероятность текста в поиск, Density Ratio дополнительно корректирует общий языковой приоритет, пересчитывая кандидатов SF. Медицинская модель обучена на 19421 предложении, общая на 75372. Для проверки десять человек прочитали по 25 фраз, проверенных врачами. Пятикратная перекрёстная проверка разделяет именно фразы: параметры выбираются по двадцати подсказкам и оцениваются на других пяти. Окончательные показатели объединяют 250 внеобучающих предсказаний.

Результаты. WER уменьшается с 29,56% при жадном декодировании до 23,55% с медицинской SF и 23,33% с Density Ratio. Парные доверительные интервалы по десяти тысячам пересэмплирований кластеров фраз подтверждают выигрыш относительно исходника, p < 0,001. Разница DRA и SF 0,22 п.п. незначима, p = 0,423. Ошибки анатомических терминов не улучшаются: соответствующая MTER меняется с 56,67 до 57,50 и 59,17%. Общая успешность не гарантирует улучшения каждого класса терминологии.

Ограничения. Это 25 сконструированных фраз, прочитанных молодыми взрослыми в тихих помещениях, не спонтанный клинический разговор. Все говорящие присутствуют и в подборе, и в тесте каждого разбиения. У 36% подсказок есть хотя бы один общий 4-грамм с обучающими текстами, хотя отдельный анализ не сводит весь выигрыш к этому. MTER использует частично корпусный словарь и считает пропуски терминов, но не штрафует добавленные термины. Нет измерения скорости или аппаратной памяти; WER около 23% не обосновывает применение без проверки человеком.

Фишка из статьи. Таблица 2 заменяет предметную модель общей при одинаковом протоколе подбора. Меньшие WER и MTER лучше; MTER следует читать как показатель полноты терминов, а не их полной фактической корректности.

Как это читать: медицинский текст даёт лишь 0,41 п.п. WER сверх общей модели, причём по MTER она чуть хуже общей. Поэтому большой выигрыш против жадного декодирования нельзя целиком записывать на счёт медицинской специализации. Корректный следующий контроль — независимый словарь и оценка как пропусков, так и вставок терминов на новых говорящих, а не только дальнейшее уменьшение средней ошибки этого небольшого теста.

Источник. Оригинальное название: Text-Only Domain Adaptation for Low-Resource Medical ASR: Shallow Fusion and Density Ratio Rescoring for Hausa. arXiv:2611.05744; полный текст PDF.