Распознавание малоресурсных африканских языков: сравнение моделей и стратегий адаптации

Большое заявленное число языков предобучения не гарантирует лучшего распознавания после адаптации. Авторы сравнивают Phi-4, Whisper turbo и MMS на шести африканских языках при одинаковом объёме речи на язык, варьируя объём, совместное обучение и предметную область. Работа даёт полезные прикладные ориентиры, но не изолирует архитектуру от корпуса и способа дообучения.

Метод. Используются суахили, дхолуо, календжин, кикуйю, масаи и сомали; основные данные ANV-KE, суахили из Common Voice. Для базового сравнения берут по 200 часов на язык. У Phi-4 адаптируются аудиокомпоненты, у MMS языковые адаптеры при замороженной основе; для неподдерживаемых календжина и масаи сравниваются новые адаптеры и инициализация родственным языком. Whisper получает дополнительные языковые токены. Отдельно добавляются 38,3 часа сельскохозяйственной речи кикуйю и проверяется перенос на другой закрытый тест той же области.

Результаты. Phi-4 получает лучший CER на четырёх из шести языков; MMS близок, Whisper значительно слабее на части языков, например CER кикуйю 0,71 против 0,21 у Phi-4. Моноязычное обучение лучше совместного на 10 из 12 пар язык–модель, но у Whisper Somali совместный режим снижает CER с 0,35 до 0,23. MMS при росте с 150 до 450 часов улучшает средний CER лишь на 0,7 процентного пункта. Инициализация родственным адаптером даёт 6–20% относительного улучшения CER против нового. Это условные результаты конкретных моделей и рецептов, а не универсальные свойства семейств.

Ограничения. Каждую архитектуру представляет одна модель с разным предобучением, токенизатором и числом изменяемых параметров. Обучение одноразовое; тестирование значимости по шести языкам слабо оценивает дисперсию обучения. Совместные модели видят больше суммарной речи, несмотря на равные часы на язык. Предметная адаптация одновременно меняет объём и состав данных, а закрытый тест мешает воспроизводимости. Корреляция ошибок с языковыми группами не доказывает причинного влияния типологической сложности. Для Whisper не применялась отдельная защита от повторов и галлюцинаций, результаты не следует переносить на оптимально настроенный современный тракт.

Фишка из статьи. Для MMS улучшение на одном сельскохозяйственном разбиении скрывает резкое ухудшение на другом. Числа взяты из анализа рисунка 4; обе проверки относятся к сельскохозяйственной речи, а не к противопоставлению сельского хозяйства и общего домена.

Как это читать: узкий адаптер способен выучить особенности конкретного корпуса вместо переносимого предметного словаря. Поэтому выбирать его по одному внутреннему тесту рискованно. Исследование также показывает стоимость выбора: на 200-часовом режиме пик VRAM у Phi-4 71,2 ГБ против 26,6 у MMS; лучшая точность и дешёвая адаптация здесь не совпадают. Заявление о «достаточных 150–200 часах» стоит читать как наблюдение убывающей отдачи в данном рецепте, не как предел полезности новых данных.

Источник. Оригинальное название: How Architecture, Typology, and Adaptation Strategies Shape ASR for Low-Resource African Languages: A Controlled Empirical Study. arXiv:2610.39004; полный текст PDF.