От синтетики к подкастам: распознавание непальско-английской речи со сменой языка
Всего 0,95 часа синтетической смешанной речи заметно улучшают распознавание реальных непальско-английских подкастов. Последующий GRPO даёт гораздо меньший эффект, а отдельная награда за правильную письменность не добавляет выигрыша. Работа полезна именно таким разделением: улучшение всего конвейера не следует приписывать его последнему этапу.
Метод. У IndicTranscribeFlex на основе Canary заморожен FastConformer-кодировщик, адаптируется декодер. Обучение использует 517 синтетических реплик из 211 предложений, созданных двумя движками. Реальный корпус содержит 13 044 реплики, 15,45 часа; тест включает 10 214 реплик, 11,90 часа. Черновики машинных эталонов проверены двумя двуязычными аннотаторами. Дикторы dev и test не пересекаются, но 13 эпизодов общие: ведущие отнесены к dev, гости к test, что создаёт различие разговорных ролей.
Результаты. Синтетическое дообучение снижает смешанную ошибку MER с 23,40 до 21,52%, а ошибку возле смены языка SPER с 35,89 до 28,77%. GRPO меняет их до 21,49 и 28,70%. Его ответы отличаются от SFT лишь на 173 из 10 214 реплик, 1,69%. Снижение SPER на 0,07 процентного пункта сохраняет значимость при бутстрепе по эпизодам, но практически это намного меньше эффекта первого этапа.
Ограничения. Нет контроля с дополнительными обычными шагами SFT, поэтому малую прибавку нельзя однозначно приписать алгоритму подкрепления. Один основной распознаватель и одна языковая пара не устанавливают общность вывода. Эталоны могут сохранять след машинного черновика. На чисто английской речи обычный WER почти сохраняется, но MER и ошибки письменности растут; результат зависит от определения правильной орфографии, а не только акустики.
Фишка из статьи. Абляция на dev объясняет отрицательный результат специальной награды. В более чем 75% синтетических групп кандидатов вообще нет вариации ошибки письменности, поэтому центрированное преимущество по этой составляющей почти не несёт обучающего сигнала.
| Режим на реальном dev | MER, % | SPER, % | Ошибка английской письменности, % |
|---|---|---|---|
| SFT | 18,92 | 25,60 | 5,35 |
| GRPO только с MER | 18,89 | 25,53 | 5,24 |
| GRPO с дополнительной наградой за письменность | 18,89 | 25,53 | 5,24 |
| SFT с токенным ограничителем письменности | 19,14 | 25,75 | 5,75 |
Как это читать: добавление разумно сформулированной награды бесполезно без различий между исследуемыми продолжениями, а жёсткое локальное ограничение может мешать правильному выбору заимствования. Это не общий приговор GRPO: результат относится к уже адаптированной encoder–decoder-модели и лёгким синтетическим запросам, где пространство кандидатов почти схлопнулось.
Источник. Оригинальное название: Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark. arXiv:2610.30860; полный текст PDF.