MoPE-LoRA: фонетические эксперты для адаптации Conformer к английской речи с акцентом
MoPE-LoRA делит адаптацию распознавания не по акцентам, а по способу образования звуков. Шесть малых экспертов отвечают за гласные и пять классов согласных; они совместно используются для всех акцентов. Идея интересна переносом: новому акценту не требуется собственный адаптер, если его фонетические отклонения удаётся описать уже имеющимися экспертами.
Метод. В проекции Q, K и V энкодера Conformer вводятся LoRA-эксперты ранга 8. Покадровый маршрутизатор смешивает обучаемые оценки с фонетическими метками отдельной замороженной CTC-модели и активирует двух экспертов. Основной распознаватель имеет около 13 млн параметров. На L2-ARCTIC используются непересекающиеся дикторы и предложения в четырёх разбиениях; для переноса один из шести акцентов целиком исключается из обучения.
Результаты. Лучшая конфигурация достигает WER 10,43% против 11,33% у одного LoRA-адаптера и 12,80% при полном дообучении. При исключении целого акцента средний WER составляет 9,98% против 11,38% у LoRA: относительное сокращение около 12,3%. Эти результаты относятся к разным протоколам и не должны смешиваться как оценки на одном тесте.
Ограничения. Корпус невелик: 24 диктора и около 24 часов неродной английской речи. Внешняя фонетическая модель на L2-ARCTIC имеет лишь 36,04% точности верхнего класса и 61,56% для двух лучших, поэтому её метки нельзя считать точным выравниванием. Не проверен широкий перенос на разговорные записи, другие языки и крупные современные распознаватели; добавочный фонетический конвейер также имеет стоимость.
Фишка из статьи. Анализ взаимной информации показывает фонетически информативные средние слои, но абляция таблицы 5 не поддерживает вывод «адаптировать только середину».
| Слои с MoPE-QKV | Всего параметров, млн | WER, % |
|---|---|---|
| 4–12 | 13,6 | 14,05 |
| 6–16 | 13,6 | 10,43 |
| 1–16 | 13,8 | 10,43 |
Как это читать: поздние слои нужны для превращения фонетической коррекции в полезное CTC-предсказание, даже если их собственная фонетическая взаимная информация ниже. Расширение до самых ранних слоёв уже не помогает. Диагностический показатель представления поэтому полезен как ориентир для эксперимента, но не заменяет проверку конечного WER.
Источник. Оригинальное название: Mixture of Phonetic Experts Based Low-Rank Adaptation of Conformer Models for Accented English Speech Recognition. arXiv:2610.26888; полный текст PDF; DOI: 10.21437/Interspeech.2026-322