GraphSeal: обнаружение поддельной речи по временно-спектральному графу сегментов
GraphSeal связывает соседние и акустически похожие участки речи, чтобы искать повторяющиеся признаки синтеза за пределами ближайшего контекста. Новизна находится в графовом модуле поверх замороженного речевого кодировщика. Абляция показывает, что новые спектральные связи полезны, но обычная временная связность остаётся ещё важнее.
Метод. Выход WavLM-Large разбивается на перекрывающиеся отрезки по 32 кадра с шагом 16. К усреднённому представлению добавляются высота тона, энергия и спектральный центроид. Узел соединяется с ближайшими временными соседями и пятью похожими несоседними узлами по косинусному сходству. Три слоя GATv2 учитывают атрибуты расстояния и сходства; итог объединяет среднее и взвешенное вниманием представления. Граф строится заново для каждой записи. Поиск всех попарных сходств квадратичен по числу сегментов, хотя распространение по разреженным рёбрам линейно при фиксированном числе соседей.
Результаты. После обучения на ASVspoof 2019 LA заявлены EER 0,52% на его тесте, 2,41% на ASVspoof 2021 LA, 8,17% на ASVspoof 5 и 5,24% на In-the-Wild. Для WavLM-AASIST с тем же типом кодировщика приведены 0,59, 2,85, 9,62 и 6,31%. Результаты усреднены по трём начальным состояниям. Графовая часть содержит 2,1 млн параметров и занимает около 12 мс на четырёхсекундную запись на A100; исходный WavLM содержит около 316 млн параметров и в эти 12 мс не входит.
Ограничения. Четырёхсекундный вход, некаузальные признаки и вычисление попарных сходств не устанавливают низкую сквозную задержку голосового агента. Для сравнения AASIST-модуль требует 0,3 млн параметров и 8 мс, то есть новая головка не меньше сама по себе. Нет подробных доверительных интервалов и проверки всех новых семейств синтеза. Некоторые объяснения через внимание и t-SNE остаются интерпретацией, не доказанной причинной локализацией артефакта. В тексте увеличение глубины до пяти слоёв названо улучшением, хотя собственная таблица показывает небольшое ухудшение.
Фишка из статьи. Таблица 3 позволяет проверить, какой именно тип связей необходим, и не принять рост глубины за автоматический выигрыш. Во всех строках используется WavLM-Large, меньше EER лучше.
| Вариант графа | ASVspoof 2021 LA EER, % | In-the-Wild EER, % |
|---|---|---|
| Полный, три слоя | 2,41 | 5,24 |
| Без спектральных рёбер | 3,12 | 6,53 |
| Без временных рёбер | 3,97 | 7,41 |
| Полный, пять слоёв | 2,52 | 5,42 |
Как это читать: удаление временных рёбер вредит сильнее удаления дальних спектральных: структура последовательности не заменяется похожестью сегментов. Пять слоёв тоже не лучше трёх, несмотря на большее распространение информации. Полезный вывод ограничен этой архитектурой и проверенными наборами: сочетание двух типов связей работает лучше каждого по отдельности, но это не гарантия устойчивости к произвольным подделкам.
Источник. Оригинальное название: GraphSeal: Graph-Augmented Speech Deepfake Detection via Temporal-Spectral Artifact Propagation. arXiv:2611.06171; полный текст PDF.