On the Robustness of Audio Deepfake Detection under Audio Watermarking
Статья показывает неприятный конфликт двух защитных механизмов: почти неслышимый водяной знак, предназначенный для подтверждения происхождения записи, может резко ухудшить распознавание синтетической речи. Это не специально подобранная состязательная атака, а обычное преобразование сигнала без доступа к параметрам детектора. Особенно полезно, что авторы прослеживают не только EER, но и сдвиг внутренних представлений.
Метод. В каждую запись при 16 кГц встраиваются стандартные 16 бит WavMark. Получается SNR 38,55 дБ и PESQ 4,3, то есть сигнал остаётся близким к исходному по объективной мере. Проверяются семь систем трёх семейств: модели на самообученных речевых признаках, графовые сети и свёрточные сети по сырой волне. Наборы ASVspoof 2021 LA/DF представляют сравнительно контролируемые условия, а ASVspoof 2024, Fake-or-Real и In-the-Wild добавляют разнообразие кодеков, каналов, повторной записи и источников подделок. Для настоящих и поддельных записей отдельно измеряются расстояние Фреше, косинусное и евклидово расстояния между внутренними представлениями до и после маркировки.
Результаты. На ASVspoof 2021 LA EER у XLSR+SLS растёт с 2,86% до 29,33%, у Nes2Net - с 2,17% до 29,70%. На части DF Nes2Net меняется с 1,49% до 34,06%, а наибольшее итоговое EER 36,50% получает RawGAT-ST. При этом на ASVspoof 2024 и большинстве более разнообразных наборов сдвиги малы. Для Nes2Net расстояние Фреше поддельных примеров достигает 965,67 на LA и 1089,69 на DF; именно там наблюдается обвал EER. У некоторых графовых моделей внутренний сдвиг меньше, но граница решения всё равно оказывается хрупкой.
Ограничения. Проверен один алгоритм водяного знака с одной стандартной нагрузкой; неизвестно, сохраняется ли эффект для других способов встраивания, силы и полезных сообщений. Детекторы не дообучались на маркированных данных, поэтому работа измеряет неожиданную устойчивость готовых систем, а не предел достижимой защиты. Большие расстояния представлений согласуются с ухудшением, но сами по себе не доказывают причинный механизм. На части реалистичных наборов исходное EER уже высоко, что затрудняет сравнение относительного ущерба, а отдельного прослушивания качества нет.
Фишка из статьи. Один и тот же водяной знак действует на Nes2Net совершенно по-разному в зависимости от того, насколько однороден набор данных.
| Набор | EER без знака | EER со знаком | Изменение |
|---|---|---|---|
| ASVspoof 2021 LA | 2,17% | 29,70% | +27,53 п.п. |
| ASVspoof 2021 DF | 1,49% | 34,06% | +32,57 п.п. |
| ASVspoof 2024 | 22,05% | 21,67% | -0,38 п.п. |
| Fake-or-Real | 6,31% | 7,01% | +0,70 п.п. |
| In-the-Wild | 7,75% | 8,55% | +0,80 п.п. |
Как это читать: преобразование не является универсально разрушительным. Оно ломает тонкие признаки, выученные на чистых однородных данных 2021 года, но почти не меняет систему там, где обучение или проверка уже содержат большое разнообразие каналов. Значит, обычная межнаборная устойчивость может быть важнее смены архитектуры.