Что слышат детекторы аудиодипфейков: от самообученных моделей до аудиоязыковых моделей

Статья задаёт практичный вопрос: по каким частотным свидетельствам детектор решает, что подделаны речь, фоновое событие или оба компонента смеси. Сравнение XLS-R, Whisper и двух режимов Qwen2-Audio показывает, что более крупная аудиоязыковая модель не обязательно устойчивее, а источник её ошибок нередко лежит в самом кодировщике.

Метод. В CompSpoof V2 речь и фон независимо бывают настоящими или синтетическими. Четыре детектора обучают с тремя случайными инициализациями и измеряют EER отдельно для поддельного события, поддельной речи и совместной подделки. Затем без переобучения по очереди зануляют шесть частотных полос от 0 до 8 кГц, наблюдая, какие участки спектра несут решающие или, наоборот, вводящие в заблуждение признаки.

Результаты. Для поддельного события EER составляет 9,50% у XLS-R, 8,29% у Whisper и 12,91–13,38% у Qwen2-Audio; для поддельной речи задача заметно сложнее: 21,21–23,74%. На невиданном SoulX-Podcast EER по речи взлетает до 36,70–49,52%. Удаление полосы 7,2–8 кГц ухудшает обнаружение поддельного события у Whisper с 8,29% до 27,23%, тогда как у Qwen2-Audio удаление верхов слегка улучшает обнаружение поддельной речи.

Ограничения. Выводы привязаны к одному составному тесту и набору генераторов. Полосовые вырезы сами могут создавать артефакты, а EER не описывает калибровку и стоимость ошибок в эксплуатации; кроме того, полоса ограничена 8 кГц.

Фишка из статьи. Верхняя октава оказывается одновременно главным доказательством поддельного фона для одних моделей и вредной подсказкой при поддельной речи для других.

Как это читать: рост EER означает потерю полезного свидетельства, снижение — удаление ложной подсказки. Одинаковая операция над спектром выявляет принципиально разную стратегию кодировщиков, которую не видно по одному итоговому EER.

Источники. страница arXiv; PDF статьи. Оригинальное название: What Do Deepfake Audio Detectors Hear? From Self-Supervised Models to Audio Language Models.