Самообучение речи Анализ слоёв Просодия
arXiv cs.CL

Когда и в каких слоях речевые модели усваивают фонемы и просодические признаки

ArXiv:2611.11249

Работа сравнивает развитие акустических и фонетических признаков в ходе предобучения HuBERT и wav2vec 2.0. Вместо одной проверки готового кодировщика авторы обучают диагностические классификаторы на разных слоях и этапах. Главный вывод: границы фонем и их идентичность формируются по разным траекториям, поэтому деление на «сегментное» и «просодическое» слишком грубо.

Метод. Двенадцатислойные модели обучаются на LibriSpeech 960h; признаки проверяются задачами абсолютной F0, относительной высоты, границ фонем, классификации фонем и словесного ударения. Небольшой MLP считывает замороженные представления; для фонем есть дополнительный линейный контроль. HuBERT сравнивается между отдельно инициализированными стадиями с разными целями кластеризации, а не только как непрерывно меняющийся один запуск. Для границ используется допуск ±20 мс на сетке 50 Гц.

Результаты. Абсолютная F0 лучше всего считывается из первого слоя: итоговый R² около 0,89 у HuBERT и 0,92 у wav2vec 2.0. F1 границ уже после 100 обновлений составляет примерно 0,65–0,68 и к 650 тыс. доходит только до 0,76–0,79. Напротив, фонемная классификация растёт примерно с 0,18 до 0,76 у HuBERT и 0,83 у wav2vec 2.0. Лучший фонемный слой HuBERT смещается с пятого к девятому.

Ограничения. Диагностический классификатор измеряет доступность информации для обучаемого считывания, а не доказывает её использование исходной моделью. Бюджеты, пакеты и функции обучения двух семейств различаются, поэтому абсолютные оценки не являются честным соревнованием архитектур. Для ударения всего 600 фрагментов, десять говорящих и 4,6 минуты; поздние состояния HuBERT представлены редко. Перенос динамики на многоязычные большие модели не установлен.

Фишка из статьи. Средние фонемные macro-F1 по группам слоёв HuBERT показывают не равномерное улучшение, а перераспределение. Ниже значения из анализа 250 тыс. и 650 тыс. суммарно обозначенных обновлений; это разные стадии обучения.

Слои250 тыс., macro-F1650 тыс., macro-F1
1–30,670,68
5–80,650,74
10–120,610,74

Как это читать: нижние слои почти не меняются, пока верхние становятся гораздо удобнее для различения фонем. Линейный контроль воспроизводит сдвиг, поэтому он не объясняется только нелинейной ёмкостью MLP. Практически это означает, что лучший слой для прикладной задачи зависит не только от названия кодировщика, но и от конкретной стадии его предобучения.

Источник. Оригинальное название: Understanding When and Where Self-Supervised Speech Models Learn Phonemes and Prosodic Cues through Layer-Wise and Time-Resolved Probing. arXiv:2611.11249; полный текст PDF.

Оригинальная статья на arXiv