Perceptible or Not? Diagnosing Passive Fingerprints for Speech Deepfake Attribution
Работа разделяет пассивные следы генератора синтетической речи на слышимые и неслышимые и проверяет, на каких из них держится определение источника. Это важный сдвиг от одной итоговой точности к диагностике того, переживёт ли признак смену текста, говорящего, случайного зерна и управляемой подачи.
Метод. PIPDP исследует десять вокодеров, систем синтеза и преобразования голоса тремя различными определителями источника. Корпус включает 25 тыс. сгенерированных реплик VCTK и отдельную проверку ESD. Остаточная энергия, Grad-CAM и повторная генерация проверяют воспроизводимость; изменение фазы, разрядности, огибающей, высокочастотный дизеринг и полосовое подавление меняют неслышимую часть, а подсказка эмоции — слышимую.
Результаты. w2v-bert-MLP достигает 99,73% точности внутри распределения и 85,71% при одновременной смене говорящего и текста. Снижение разрядности при параметре b=10 уменьшает его точность на 48,2 п.п., хотя STOI остаётся 0,9909, изменение DNSMOS равно 0,205, а 94,4% примеров проходят порог прозрачности. Напротив, смена эмоции у CosyVoice2 меняет точность примерно не более чем на 1 п.п., хотя слушатели распознают целевые эмоции в 78–100% случаев.
Ограничения. Атрибуция замкнута на десять известных генераторов и не проверяет новые версии тех же систем. «Неслышимое» определяется в основном автоматическими порогами DNSMOS и STOI, а не строгим слушательским опытом. Сильное падение классификатора после прозрачного воздействия доказывает зависимость от тонких признаков, но одновременно показывает их уязвимость; это не следует автоматически называть надёжной судебной атрибуцией.
Фишка из статьи. Наиболее разрушительное воздействие может почти не менять воспринимаемую речь.
| Воздействие | Параметр | Падение точности w2v-bert | ΔDNSMOS | STOI | Прозрачных примеров |
|---|---|---|---|---|---|
| Случайная фаза | σ=0,4 | 2,4 п.п. | 0,291 | 0,9975 | 95,2% |
| Снижение разрядности | b=10 | 48,2 п.п. | 0,205 | 0,9909 | 94,4% |
| Полосовое подавление | Q=20 | 4,7 п.п. | 0,094 | 0,9906 | 99,8% |
Как это читать: близкие показатели качества не означают сохранность машинного следа. Особенно показательно, что небольшое изменение разрядности почти не портит речь по выбранным порогам, но разрушает около половины решений одного определителя источника.