SyRA-CS: метаобучение для переноса распознавания смешанной речи с синтетики на реальные записи

SyRA-CS использует синтетическую речь не просто для предварительного дообучения, а для подготовки начальных весов, которые удобнее адаптировать по одному часу настоящих записей. Проверяются CTC, трансдьюсер, Whisper и аудиоязыковая модель. При этом для каждой архитектуры и языковой пары обучается отдельная инициализация: это не универсальный межъязыковой метаадаптер.

Метод. Reptile выполняет короткие внутренние обновления на эпизодах CS-FLEURS и сдвигает исходные веса к полученным параметрам без вычисления производных через весь внутренний цикл. Затем используется один час размеченной целевой речи. Рассматриваются Hindi-English, French-English, Arabic-English и German-English; объём синтетики составляет 4,51–10,28 часа на пару. Основной контроль CFT использует те же синтетические и реальные подмножества, но обычную последовательную адаптацию.

Результаты. WER улучшается относительно CFT во всех 16 сочетаниях модели и пары, CER в 15 из 16. Средний относительный выигрыш WER равен 17,7% для XLS-R, 5,3% для Nemotron 3.5, 5,5% для Whisper-small и 5,8% для Audex-2B. У XLS-R средний WER уменьшается с 47,40 до 39,00%. Синтетика без реальной адаптации показывает наибольшую ошибку в 28 из 32 ячеек двух метрик: человеческий час здесь остаётся существенной частью метода.

Ограничения. По одному обучающему seed и одному случайному часовому подмножеству на пару недостаточно для надёжной оценки малых разностей. Арабский и немецкий тесты невелики. В SwitchLingua аудио человеческое, но тексты получены по синтетическому сценарию; полностью спонтанная речь представлена иначе в Hindi-English. Нет равного по вычислениям контроля, который отделял бы эффект Reptile от дополнительных повторных обновлений. Различия моделей нельзя объяснять только архитектурой.

Фишка из статьи. Единственное ухудшение CER особенно важно для смешанной письменности: на Arabic-English Whisper-small немного улучшает слова, но заметно ухудшает символы. Исходная таблица 2 записывает ошибки долями; ниже они переведены в проценты.

Как это читать: фраза «выигрыш во всех языковых парах» верна только для выбранной метрики. Варианты записи, сегментация и символные изменения могут расходиться со словесной оценкой. Авторы не используют множественные эталоны и не доказывают конкретную лингвистическую причину этой ячейки. Для практического переноса нужны обе метрики и проверка написания заимствований, а не один средний относительный процент.

Источник. Оригинальное название: SyRA-CS: Synthetic-to-Real Adaptation for Code-Switched ASR with Meta-Learning. arXiv:2610.31415; полный текст PDF.