Оценка распознавания тибетской речи: диалекты, адаптация и несколько уровней ошибки

В тибетской письменности нет обычных пробелов между словами, поэтому выбор единицы ошибки меняет вывод о качестве распознавателя. Работа сопоставляет символы, слоги и слова после разных способов сегментации, затем проверяет перенос между диалектами и режимами дообучения. Главный результат — несовпадение ранжирования моделей даже при сильной корреляции метрик внутри одной модели.

Метод. Пять архитектур, включая Whisper Tiny/Base/Small, Wav2Vec2 и HuBERT, обучаются на лхасском NICT-Tib1. Проверяются ещё пять подмножеств корпусов, прямой перенос и обучение на целевом корпусе. Словные ошибки считаются после BoTok, нейросетевой и языковой сегментации; границы сопоставляются с экспертной разметкой. Отдельная сетка LoRA варьирует ранг и объём данных, а стандартизованное фонологическое представление даёт дополнительную оценку написания.

Результаты. На исходном корпусе Wav2Vec2 имеет CER 0,075 против 0,086 у Whisper Small. После адаптации на XBMU-Amdo Wav2Vec2 также лучше по CER: 0,105 против 0,144, но хуже по словной BoTok-SWER: 0,353 против 0,295. В исследованной сетке лучший LoRA остаётся существенно хуже полного дообучения: увеличение ранга до 32 не устраняет высокую ошибку.

Ограничения. Различия корпусов и диалектов меняются одновременно, поэтому потерю переноса нельзя объяснять только произношением. Число примеров и обучающая экспозиция также не полностью разделены. Сегментаторы сами ошибаются и нуждаются в контроле сохранности символов и границ. Провал LoRA относится к данному рецепту и диапазону параметров, не доказывает общей непригодности низкоранговой адаптации для тибетского.

Фишка из статьи. На MUC Kham адаптация Whisper Small меняет две ошибки в противоположных направлениях. Значения в таблице 5 и обсуждении даны долями, а не процентами.

Как это читать: по символам модель стала хуже, по сегментированным словам — лучше. Ошибка выше единицы допустима из-за вставок; это не ошибка шкалы. Один агрегат способен скрыть перестройку границ и повторения. Поэтому для малоресурсной письменности нужны несколько уровней, анализ пустых ответов и повторов и попарное сравнение на одинаковых репликах, а не только самый выгодный CER.

Источник. Оригинальное название: Evaluating Tibetan Speech Recognition Across Dialects and Adaptation Regimes: A Multi-Granularity Analysis. arXiv:2610.27002; полный текст PDF.