SSL speech models кодируют артикуляцию даже между финским и русским

Эта статья интересна как interpretability-работа для speech SSL: она проверяет, насколько скрытые слои wav2vec/XLSR/MMS действительно несут информацию о движениях артикуляторов, а не только о фонемах или speaker identity. Авторы используют EMA-записи bilingual Finnish-Russian speakers и показывают, что линейный probe может восстанавливать tongue/lip trajectories с Pearson r около 0.69 даже в cross-lingual условиях.

Метод. В FROST-EMA участвуют 18 bilingual speakers, записанных в soundproof booth. Используются пять артикуляторов: tongue tip, tongue anteo-dorsum, tongue dorsum, upper lip и lower lip; по умолчанию берутся X/Z координаты, всего 10 continuous EMA features с исходной частотой 1250 Hz. Каждый speaker выполняет три типа задач: read passage, carrier sentences с target words и spontaneous comic-strip narration. Для каждого SSL encoder извлекаются все 24 transformer layers, а затем простой linear regression probe предсказывает EMA trajectories.

Результаты. В cross-model сравнении лучший средний articulatory score дают MMS-300m и XLSR-53 RU fine-tuned: Pearson r=0.689. XLS-R FI fine-tuned почти такой же, r=0.686; wav2vec 2.0 Large EN — r=0.641; XLSR-53 multilingual — r=0.620. Layer-wise анализ показывает типичную картину: средние слои сильнее кодируют артикуляцию, а late layers уходят к более абстрактной лингвистической информации; у XLSR-53 авторы отдельно отмечают резкий спад на слоях 22–23. Training-size experiment показывает насыщение примерно после 300 секунд paired data, а LOSO на MMS-300m даёт best-case per-speaker correlations около r=0.78.

Ограничения. EMA-корпус небольшой и лабораторный: 18 speakers, профессиональная запись и контролируемые задания не покрывают реальную акустику. Linear probing показывает recoverability информации, но не доказывает, что downstream ASR/TTS реально использует эти координаты. Есть и техническая чувствительность EMA: sensor placement, reattachment и speaker-specific scaling могут влиять на абсолютные результаты, поэтому авторы нормализуют trajectories и отдельно используют LOSO.

Фишка из статьи. Главное не то, что multilingual модели “лучше”, а то, что language-specific fine-tuning почти догоняет или сравнивается с MMS-300m, а чистый XLSR-53 оказывается слабее. Это намекает, что знакомство модели с конкретной фонетико-артикуляционной системой важно даже для линейно извлекаемых articulatory traces.

Как это читать: артикуляционная информация не равномерно распределена по SSL-моделям. Для задач вроде articulatory inversion, pronunciation training или speech motor analysis выбор backbone и языка fine-tuning может быть важнее, чем просто “модель multilingual”.