SunflowerASR: обучение распознавателя 51 африканского языка с помощью GRPO
SunflowerASR применяет GRPO к обычному Whisper encoder–decoder, а не к языковому декодеру огромной аудиоязыковой модели. Обучение выбирает записи, где среди десяти сэмплированных транскрипций уже есть удачная, но модель не выдаёт её надёжно. Особенно полезен анализ механизма: выигрыш WER под шумом объясняется устранением редких повторяющихся циклов, а не равномерным улучшением каждого слова.
Метод. Исходное полное дообучение Whisper-large-v3 использует 7412 часов, 3,82 млн записей из 110 подмножеств для 51 языка. Для GRPO кодировщик заморожен, обновляются 906 млн декодерных параметров. Из каждого подмножества выбираются до 200 записей с большим разрывом между медианным и лучшим CER среди десяти продолжений, всего 15 285 примеров. Награда равна отрицательному ограниченному CER с KL-штрафом; один шаг объединяет 64 разных записи и 640 продолжений, чтобы уменьшить конфликт обновлений языков.
Результаты. Средний WER равен 22,7% на AfriVox-v2 по 14 языкам и 37,2% на SimbaBench по 19 общим языкам. На внутренней шумной проверке CER улучшается у 35 из 40 рассмотренных языков; малоресурсные языки выигрывают чаще. На 60 практических записях угандийского английского и луганда WER уменьшается с 42,3 до 39,7%, CER с 21,5 до 19,4%. Относительные улучшения здесь 6,2 и 9,7%, а не процентные пункты.
Ограничения. Малый практический набор не доказывает устойчивость во всех прикладных доменах. Часть внешних сравнений использует опубликованные оценки с разным покрытием языков. Шум создаётся из местных уличных записей, а количественный разбор циклов относится к самому сильному выбранному условию. Нет широкой оценки вариативности обучения. Лучший средний WER не означает первое место по каждому языку, что видно из таблиц.
Фишка из статьи. На 20 347 шумных примерах обычный дополнительный проход по тем же отобранным данным ухудшает качество. Таблица 4 отделяет пользу самих записей от способа обучения; ошибки ниже переведены из долей в проценты.
| Продолжение после исходного SFT | WER, % | CER, % |
|---|---|---|
| Без продолжения | 42,79 | 17,83 |
| Ещё одна эпоха обычного SFT | 47,94 | 20,89 |
| GRPO на случайных примерах | 42,20 | 17,14 |
| GRPO с полным отбором | 42,01 | 16,80 |
Как это читать: та же подборка может быть полезна при относительной награде и вредна при обычном обучении. На 223 записях, 1,1% проверки, GRPO устраняет зацикливание; на остальных 20 124 словесных подстановок даже на 0,5% больше, но они ближе к правильному написанию по символам. Это объясняет различную динамику WER и CER и показывает, почему нужны разбор редких отказов и не одна средняя оценка.
Источник. Оригинальное название: Group Relative Policy Optimisation Improves Multilingual Speech Recognition in Low-Resource Languages. arXiv:2610.30663; полный текст PDF.