Распознавание арабских диалектов с замороженным и дополненным адаптерами кодировщиком Gemma 4
Работа проверяет, насколько полезен неизменяемый речевой кодировщик Gemma 4 для саудовской речи и диалектов Персидского залива. Вместо полного дообучения авторы обучают небольшой распознающий модуль; расширенный вариант добавляет низкоранговые адаптеры и совместный CTC/attention-поиск. Не менее полезная часть исследования — аудит смещения эталонов, полученных исправлением машинных черновиков.
Метод. Базовый кодировщик имеет 305 млн параметров. Замороженная система обучает CTC-модуль на 22,6 млн параметров поверх смеси слоёв; расширенная добавляет 3,1 млн адаптерных параметров и гибридный модуль на 41,5 млн. Используются саудовские и эмиратские записи, чистые и телефонно перекодированные условия, языковые модели слов и подслов. Основные сравнения запускаются на одинаковом аудио с нормализацией и парными доверительными интервалами.
Результаты. На публичном саудовском звонке расширенная модель получает WER 19,20% против 19,27% у Cohere, без значимого различия. На длинной саудовской речи она уступает. Замороженный вариант с жадным декодированием обрабатывает звук на CPU в 31,1 раза быстрее реального времени против 9,2 у Cohere. Оптимизированный совместный поиск расширенной модели достигает 139-кратной скорости на GPU, но это другой режим и другое измерение.
Ограничения. Небольшие публичные наборы и внутренние звонки не представляют все арабские диалекты. Некоторые эталоны созданы машиной и проверены одним аннотатором, часть аудио недоступна. Отсутствие значимой разницы на малой выборке не доказывает эквивалентность. Часть скоростных строк измерена на разном аудио: нельзя переносить отношение CPU-скоростей замороженного жадного варианта на точность адаптированного совместного поиска.
Фишка из статьи. Таблица 12 разделяет внутренние звонки по происхождению принятого без исправлений эталона. Ниже сравниваются Cohere и замороженная система с телефонной SADA.
| Источник черновика | WER Cohere, % | WER замороженной системы, % | Разрыв, п.п. |
|---|---|---|---|
| Cohere, 30 окон | 43,60 | 58,38 | 14,78 |
| Другой облачный распознаватель, 33 окна | 30,88 | 36,28 | 5,40 |
Как это читать: вывод о превосходстве меняется вместе с происхождением текста-эталона. Подмножества не являются рандомизированным опытом, поэтому таблица не измеряет чистый причинный размер смещения. Но она показывает, почему машинно подготовленные ссылки нельзя считать нейтральными и почему слепая независимая корректировка нужна даже при инженерно убедительной модели.
Источник. Оригинальное название: How Far Can the Gemma 4 Speech Encoder Go Without Changing Its Weights? Saudi and Gulf Arabic Speech Recognition with a Frozen and an Adapter-Augmented Encoder. arXiv:2610.28673; полный текст PDF.