Когда меняется сама норма: многослойные признаки WavLM для обнаружения речевых подделок
Детектор, обученный только на настоящей речи, может ошибаться не из-за нового генератора, а из-за того, что настоящие записи стали звучать иначе. MLN-WavLM изучает эту проблему на замороженных признаках и отдельно измеряет ранжирование и перенос рабочего порога. Это полезный отрицательный результат: обучение без подделок само по себе не обеспечивает устойчивости к смене корпуса.
Метод. Из слоёв 3, 6, 9 и 12 WavLM Base+ извлекаются усреднённые признаки. На 2580 настоящих обучающих записях ASVspoof 2019 LA оцениваются нормировка и регуляризованное расстояние Махаланобиса; оценки слоёв объединяются с фиксированными равными весами. Порог берётся по 99-му процентилю настоящей речи проверочного набора, без меток атак. Сравниваются полное пространство и PCA-128, а также обучаемый с подделками WavLM-HM-Conformer с тем же семейством исходных признаков.
Результаты. Полная версия получает EER 8,45% на 2019 LA против 7,86% у управляемой базы. На 2021 DF ошибка возрастает до 22,12%, тогда как у базы до 14,94%. Перенесённый порог даёт 20,23% ложных тревог. При ограничении ложных тревог 1% обнаруживается только 1,46% подделок, поэтому одной калибровки недостаточно. Полный многослойный ансамбль почти совпадает с одним ранним слоем на новом корпусе: 22,12% против 22,10% EER.
Ограничения. Один англоязычный ряд ASVspoof не воспроизводит всю открытую среду. Фиксированный центральный фрагмент 4 с может пропустить локальную подделку, а замороженный WavLM всё ещё требует значительных вычислений. Расстояние от модели настоящей речи не является доказательством синтетического происхождения: его повышают кодеки, каналы и голоса. Нулевая численная оптимизация новых нейросетевых параметров не делает весь тракт бесплатным.
Фишка из статьи. В таблице VIII адаптация порога проверяется на неразмеченном потоке с контролируемой долей подделок. На исходном домене наивный 99-й процентиль быстро «отравляется», тогда как перенос через медиану и MAD лучше выдерживает небольшое загрязнение. Показана полнота обнаружения, усреднённая по десяти потокам.
| Подделки в потоке | Обычный процентиль: TPR, % | Медиана/MAD: TPR, % |
|---|---|---|
| 0% | 70,7 | 66,7 |
| 5% | 17,2 | 62,3 |
| 10% | 9,2 | 57,1 |
| 50% | 2,0 | 4,7 |
Как это читать: устойчивая статистика помогает, пока ранжирование полезно и примеси относительно редки. На 2021 DF даже эталонная калибровка по настоящим целевым записям оставляет полноту около 1,5% при 1% ложных тревог. Там нужно менять модель признаков или нормы, а не только искать удачный скалярный порог.
Источник. Оригинальное название: When Normality Shifts: Multi-Level WavLM Modeling for Open-World Audio Deepfake Detection. arXiv:2611.11465; полный текст PDF.