Какие акустические признаки переживают сжатие: первая форманта для устойчивого выявления поддельной речи
Статья проверяет не очередной большой детектор, а устойчивость отдельных акустических признаков к кодекам и смене генераторов поддельной речи. Четыре статистики первой форманты уступают сложным системам на чистом тесте, зато их ошибки гораздо меньше меняются между каналами. Это исследование стабильного дополнительного сигнала, а не готовая замена современным детекторам.
Метод. Из 36 описателей формант, PNCC, LFCC и просодии отбираются признаки с крупным различием настоящей и синтезированной речи и устойчивостью после искажений. Итоговый набор: среднее F1, её изменчивость, ширина полосы и отношение F1/F2. Здесь F1 означает первую форманту, не F1-меру классификации. Formant tracker Praat/Burg работает по окнам 25 мс; признаки усредняются на уровне высказывания, затем подаются в RBF-SVM. Обучение идёт на чистом ASVspoof 2019 LA, проверка на неизвестных атаках ASVspoof 2021 LA и In-the-Wild.
Результаты. На ASVspoof 2021 LA четыре признака дают EER 22,9%, все 36 признаков 23,5%, переобученный в общем протоколе AASIST 30,7%. На чистом 2019 LA порядок обратный: 19,8%, 16,2% и 1,73%. На In-the-Wild EER равен 34,7% для четырёх признаков и 50,0% для полного набора. Абсолютные ошибки остаются высокими, но диапазон EER между семью кодековыми/канальными условиями сужается до 3,4 процентного пункта.
Ограничения. Обучающий набор содержит только 20 говорящих, старые генераторы и ограниченную фонетическую вариативность. Измеряется поведение оценивателя формант на повреждённой записи, не доказанная сохранность физических резонансов. Сужение полосы само по себе меняет F1. Нейросетевые детекторы, специально обученные на кодековых искажениях, здесь не исчерпывающе сопоставлены, а новые синтезаторы могут уменьшить найденный разрыв.
Фишка из статьи. Таблица 6 на с. 6 иллюстрирует важный отрицательный результат отбора признаков: лучшая чистая модель не обязательно устойчивее в телефонии. В строке без кодека уже присутствуют неизвестные алгоритмы подделки, поэтому это не исходный чистый тест 2019 года.
| Условие 2021 LA | Четыре F1-признака: EER % | Все 36: EER % |
|---|---|---|
| Без кодека, новые атаки | 21,6 | 18,0 |
| Opus | 21,8 | 20,8 |
| G.711 μ-law | 25,0 | 28,1 |
| PSTN | 21,6 | 31,1 |
Как это читать: Дополнительные признаки дают выигрыш без телефонного канала, но при PSTN превращаются в источник ошибок. Узкий диапазон результата облегчает выбор порога, однако EER около 23% всё ещё неприемлем для автономного решения о подлинности. Практический кандидат здесь дополнительная интерпретируемая ветвь и контроль канала.
Источник. Оригинальное название: Which Acoustic Features Survive Compression? Tracker-Estimated First-Formant Statistics for Codec-Robust Audio DeepfakeDetection. arXiv:2611.13258; полный текст PDF.