Обнаружение подделок Смена домена Калибровка
arXiv cs.SD

Когда меняется сама норма: многослойные признаки WavLM для обнаружения речевых подделок

ArXiv:2611.11465

Детектор, обученный только на настоящей речи, может ошибаться не из-за нового генератора, а из-за того, что настоящие записи стали звучать иначе. MLN-WavLM изучает эту проблему на замороженных признаках и отдельно измеряет ранжирование и перенос рабочего порога. Это полезный отрицательный результат: обучение без подделок само по себе не обеспечивает устойчивости к смене корпуса.

Метод. Из слоёв 3, 6, 9 и 12 WavLM Base+ извлекаются усреднённые признаки. На 2580 настоящих обучающих записях ASVspoof 2019 LA оцениваются нормировка и регуляризованное расстояние Махаланобиса; оценки слоёв объединяются с фиксированными равными весами. Порог берётся по 99-му процентилю настоящей речи проверочного набора, без меток атак. Сравниваются полное пространство и PCA-128, а также обучаемый с подделками WavLM-HM-Conformer с тем же семейством исходных признаков.

Результаты. Полная версия получает EER 8,45% на 2019 LA против 7,86% у управляемой базы. На 2021 DF ошибка возрастает до 22,12%, тогда как у базы до 14,94%. Перенесённый порог даёт 20,23% ложных тревог. При ограничении ложных тревог 1% обнаруживается только 1,46% подделок, поэтому одной калибровки недостаточно. Полный многослойный ансамбль почти совпадает с одним ранним слоем на новом корпусе: 22,12% против 22,10% EER.

Ограничения. Один англоязычный ряд ASVspoof не воспроизводит всю открытую среду. Фиксированный центральный фрагмент 4 с может пропустить локальную подделку, а замороженный WavLM всё ещё требует значительных вычислений. Расстояние от модели настоящей речи не является доказательством синтетического происхождения: его повышают кодеки, каналы и голоса. Нулевая численная оптимизация новых нейросетевых параметров не делает весь тракт бесплатным.

Фишка из статьи. В таблице VIII адаптация порога проверяется на неразмеченном потоке с контролируемой долей подделок. На исходном домене наивный 99-й процентиль быстро «отравляется», тогда как перенос через медиану и MAD лучше выдерживает небольшое загрязнение. Показана полнота обнаружения, усреднённая по десяти потокам.

Подделки в потокеОбычный процентиль: TPR, %Медиана/MAD: TPR, %
0%70,766,7
5%17,262,3
10%9,257,1
50%2,04,7

Как это читать: устойчивая статистика помогает, пока ранжирование полезно и примеси относительно редки. На 2021 DF даже эталонная калибровка по настоящим целевым записям оставляет полноту около 1,5% при 1% ложных тревог. Там нужно менять модель признаков или нормы, а не только искать удачный скалярный порог.

Источник. Оригинальное название: When Normality Shifts: Multi-Level WavLM Modeling for Open-World Audio Deepfake Detection. arXiv:2611.11465; полный текст PDF.

Оригинальная статья на arXiv