Повторная оценка классификации акцентов с DistilHuBERT: разделение по дикторам и межкорпусное обобщение

Авторы показывают, насколько легко переоценить классификатор акцента, если фрагменты одного диктора попадают и в обучение, и в тест. Почти идеальная точность DistilHuBERT превращается в 81,4% при честном разделении по людям и примерно в 45% при переносе на внешний корпус.

Метод. На L2-ARCTIC с 24 дикторами и шестью акцентами проведена четырёхчастная проверка без пересечения дикторов, затем модель проверена на внешнем наборе с восемью метками. Авторы также расширяют обучение сбалансированными внешними примерами и пробуют псевдоразметку с порогом уверенности 0,95.

Результаты. Воспроизведение с разделением по файлам даёт 99,76% внутри корпуса, но лишь 44,52% снаружи; первый опыт с файлами достигает 100%. При разделении по дикторам среднее равно 81,40±3,62%. Для одной складки внешнее сбалансированное обучение повышает результат L2-ARCTIC с 86,2 до 87,9%, а на внешнем уровне 2 — с 42 до 68%.

Ограничения. В L2-ARCTIC всего по четыре диктора на акцент, а сопоставление меток между корпусами неоднозначно. Расширенные опыты выполнены только для двух складок; точность не показывает калибровку уверенности и ошибки на редких группах.

Фишка из статьи. Высокий порог уверенности не спасает самостоятельное обучение от систематически неверных псевдометок.

Как это читать: в последнем столбце сначала указан внутренний, затем внешний результат. Псевдоразметка ухудшает оба, поскольку уверенность модели отражает её собственное смещение, а не правильность новой таксономии акцентов.

Источник: arXiv:2610.13440. Оригинальное название: Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization.