DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition
DonorRank решает практическую задачу, которую в малоресурсном распознавании часто закрывают слишком грубой эвристикой: с какого языка переносить модель на новый язык без размеченной речи. Работа интересна тем, что родство языков оказывается слабым признаком, а полезность донора зависит от всего набора кандидатов, объема данных и акустико-текстовых свойств корпуса.
Метод. Авторы обучают ранжирующую модель предсказывать порядок языков-доноров по ожидаемым WER и CER после переноса w2vBERT. Признаки охватывают типологическое и генетическое расстояние, размеры речевых и текстовых данных, свойства письменности и акустические характеристики. Проверка проводится отдельно на индийском наборе Vaani-D и африканском WAXAL; кроме выбора одного донора исследуются объединения из двух-четырех языков.
Результаты. Средний NDCG для ранжирования по WER равен 0,933 на Vaani-D и 0,948 на WAXAL; по CER - 0,984 и 0,924 соответственно. Для бходжпури DonorRank выбирает магадхи и получает CER 19,0% и WER 47,2%, тогда как генетически выбранный садри дает 42,2% и 87,2%, а хинди - 30,0% и 71,4%. Для кумаони донор бходжпури дает CER 13,3% против 22,3% у родственного гархвали. Объединение доноров обычно помогает до двух-четырех языков, но затем выигрыш насыщается или обращается в ухудшение.
Ограничения. Выводы получены только для двух групп корпусов - индийских и африканских языков - и одной схемы переноса на базе w2vBERT. Для части языков отсутствуют типологические признаки lang2vec. Рейтинг зависит от состава рассматриваемого пула, поэтому готовый порядок нельзя механически переносить в другую коллекцию. На WAXAL генетическая эвристика иногда все же выигрывает, а многодонорное обучение не монотонно улучшается с ростом числа языков.
Фишка из статьи. Особенно показательно, насколько мало веса получила генетическая близость и насколько сильным может быть внешне нелогичный перенос.
| Целевой язык | Выбор донора | Донор | CER | WER |
|---|---|---|---|---|
| Бходжпури | DonorRank | Магадхи | 19,0% | 47,2% |
| Бходжпури | Генетическое родство | Садри | 42,2% | 87,2% |
| Бходжпури | Крупный ресурс | Хинди | 30,0% | 71,4% |
| Кумаони | DonorRank | Бходжпури | 13,3% | 33,7% |
| Кумаони | Генетическое родство | Гархвали | 22,3% | 51,9% |
Как это читать: близкий язык не обязательно дает наиболее переносимые акустические и орфографические признаки. В анализе важность генетической близости составляет лишь 1,9% на Vaani-D и 1,4% на WAXAL; это аргумент за измеряемый выбор донора вместо выбора по языковому дереву.