OpenSVBench: диагностика обобщения систем верификации диктора в сценариях эксплуатации

OpenSVBench проверяет верификацию диктора не одной усреднённой EER, а 26 фиксированными наборами испытаний из 11 эксплуатационных сценариев. Такой разрез важен: лидер на VoxCeleb может резко менять место при смене жанра, акцента, расстояния, длительности или доли перекрывающейся речи.

Метод. Авторы запускают 18 открытых систем на одних и тех же списках пар и агрегируют результаты как по наборам, так и по сценариям. В тестах разделены короткие фрагменты, шум и реверберация, микрофонный канал, расстояние, перекрытие голосов, акцент, жанр и речь «в естественных условиях».

Результаты. Лучшие средние EER показывают W2V-BERT2 — 9,96%, ReDimNet2 — 10,53% и SAM-R100 — 10,58%; x-vector получает 23,35%. Но даже лучшие системы дают 20–22% EER на акцентах и 26–27% при смене жанра. Для CN-Celeb рост длительности с 0,5 до 3 с снижает среднюю EER с 36,1 до 15,6%, а для VoxCeleb — с 31,2 до 4,7%: одинаковое название сценария скрывает разную трудность корпусов.

Ограничения. Это диагностический сравнительный стенд, а не контролируемая абляция архитектур: системы обучались на разных данных, и возможны пересечения источников с тестами. Число наборов внутри отдельных сценариев невелико, поэтому макроусреднение не следует трактовать как универсальный рейтинг.

Фишка из статьи. Ранги моделей плохо переносятся даже между наборами одного типа.

Как это читать: один итоговый EER недостаточен даже для выбора системы под заранее известный класс помех. Нужен набор, близкий к реальному каналу и населению пользователей.

Источник: arXiv:2610.13760. Оригинальное название: OpenSVBench: Diagnosing Speaker Verification Generalization Across Deployment Scenarios.