VIPBench: оценка сходства настоящих и клонированных голосов по восприятию слушателей

VIPBench отделяет личность человека по метаданным от того, слышат ли слушатели один и тот же голос. Это существенно для синтеза: запись клона и оригинал могут иметь одну метку говорящего, но восприниматься как разные люди. Работа показывает, что улучшение обычной верификации и согласие с человеческим восприятием — не одна и та же цель.

Метод. В наборе 9800 пар записей ста публичных англоязычных персон, 124876 решений «тот же или другой» от 1290 слушателей. Настоящая опорная запись сопоставляется с реальной, клонированной либо промежуточным голосом между двумя людьми; основные клоны и смешанные голоса созданы Cartesia Sonic 3. Для одиннадцати моделей измеряются корреляция сходства с долей ответов «тот же», бинарное решение большинства, геометрия сходства между людьми и перенос калибровки с настоящих записей на синтетические. Разделение для подбора слоя и калибровки выполняется по опорным говорящим.

Результаты. В 41% ответов пара клона и настоящего голоса с одинаковой меткой говорящего воспринимается как разные люди: это доля индивидуальных суждений, не доля всех неудачных клонов. Resemblyzer получает Pearson r = 0,656, ECAPA-TDNN 0,646, WavLM 0,510. У лучшей модели R² = 0,430 соответствует около 61% оценённого надёжностного потолка, а не 61% точности. Различие между тремя верхними моделями незначимо при пересэмплировании говорящих. Модель с EER около 12% по меткам личности согласуется со слушателями не хуже моделей с EER ниже 2%.

Ограничения. Все сто людей говорят на американском английском и являются публичными персонами. Основная синтетика происходит из одной системы; небольшое расширение CosyVoice 2 не устанавливает перенос на любые клоны. Пары настоящих записей имеют около 39 оценок, синтетические около десяти, поэтому надёжность различается. Нет повторного предъявления одной пары тому же слушателю для проверки индивидуальной воспроизводимости. Корреляция с усреднённым мнением не означает юридической идентификации или универсальной оценки сходства голоса.

Фишка из статьи. Таблица 5 проверяет перенос линии регрессии, обученной на 900 реальных парах, на 8900 пар с синтетикой. Oracle здесь означает отдельную подгонку на целевом типе данных, не совершенное предсказание.

Как это читать: даже хорошая калибровка реального голоса переоценивает воспринимаемое сходство синтетики. У Whisper перенос хуже постоянного прогноза среднего: отрицательное R² не следует обнулять или объявлять отсутствием данных. Для оценки клонирования нужно проверять отдельную калибровку на синтетических голосах и согласие слушателей, а не механически переносить порог косинусного сходства из верификации.

Источник. Оригинальное название: VIPBench: A Human-Aligned Benchmark for Voice Identity Perception in the Age of Voice Cloning. arXiv:2611.05638; полный текст PDF.