SENTRY: целочисленный волновой анализ для потокового обнаружения поддельной речи на сетевом узле
Потоковую защиту от поддельной речи трудно встроить в сетевое оборудование, если каждый анализ требует GPU и чисел с плавающей точкой. SENTRY строит признаки из целочисленных преобразований и принимает решение небольшим классификатором. Работа интересна прежде всего аппаратной постановкой задачи; заявленная точность пока относится к знакомым генераторам, а не к обнаружению новых атак.
Метод. Фронтенд объединяет lifting-вейвлеты Haar или Le Gall 5/3, 32-полосные пакетные огибающие, Walsh–Hadamard, микростатистики сигнала и долговременный спектральный профиль. Сдвиги и сложения заменяют большую часть умножений. Обученное дерево решений дополняется расстоянием Махаланобиса до настоящей речи; логистический слой объединяет оценки. Прототип вычисляет признаки целочисленным кодом на одном Cortex-A53, а классификатор и объединение синтезированы для Zynq UltraScale+. Полный фронтенд в программируемую логику ещё не перенесён.
Результаты. На WaveFake получены accuracy 98,75% и EER 1,25%, на ASVspoof 2019 LA после моделирования 8-кГц μ-law — 94,75% и 5,05%. В каждом корпусе использовано по 8000 записей, причём все семейства атак встречаются и в обучении, и в тесте. Ядро классификатора занимает 11 656 LUT и не использует DSP-блоков; после готовности вектора признаков решение появляется за 220 нс при 100 МГц. Это не длительность наблюдения за разговором и не время полного извлечения признаков.
Ограничения. Официальные невиданные атаки A07–A19 не проверяются; использованы A01–A06 из обучающей и валидационной частей. Нет доверительных интервалов и сопоставления с нейронными системами на точно таком же разбиении. Разница широкополосного и телефонного тестов смешивает эффект канала, дикторов и генераторов. Некоторые произведения в статистиках пока реализованы в программной целочисленной модели; возможность полностью безумножительного фронтенда не подтверждена готовым синтезом всей цепочки.
Фишка из статьи. Дополнительный детектор необычных данных почти не улучшает закрытый тест и даже ухудшает ранжирование. Таблица I позволяет отделить качество оценки от выбранной пороговой точки.
| Корпус | Тракт | AUC | EER, % |
|---|---|---|---|
| WaveFake | Только обученный классификатор | 0,9994 | 1,31 |
| WaveFake | Объединение двух оценок | 0,9993 | 1,25 |
| ASVspoof A01–A06 | Только обученный классификатор | 0,9948 | 5,38 |
| ASVspoof A01–A06 | Объединение двух оценок | 0,9884 | 5,05 |
Как это читать: небольшое снижение EER не означает, что новый тракт лучше различает все реальные и поддельные записи. Самостоятельная EER детектора необычности равна 29,89 и 43,18%; его предполагаемую пользу на незнакомых генераторах ещё предстоит проверить. Без такой проверки и интервалов нельзя объявлять второй тракт доказанной защитой от новых способов синтеза.
Источник. Оригинальное название: SENTRY: A Streaming Edge Network Trust Engine for Real-Time Audio Deepfake Detection. arXiv:2610.24468; полный текст PDF.