GDBack: групповая задержка как уязвимость систем идентификации говорящего

GDBack показывает, что скрытая зависимость обученного идентификатора может опираться на фазовое преобразование, почти незаметное по амплитудной спектрограмме. Важна не одинаковая абсолютная фаза разных фраз, а одинаковое преобразование их групповой задержки. Для защиты речевых моделей это аргумент не ограничивать аудит данных мел-спектрограммами и обычной точностью на чистом тесте.

Метод. В исследовательской модели угроз часть обучающих записей преобразуется всепропускающим фильтром и получает неверную целевую метку. Идеальный фильтр сохраняет спектральную амплитуду, но меняет фазу и частотно-зависимую задержку. Проверяются ECAPA-TDNN, x-vector и RawNet3 на закрытой идентификации 251 говорящего из LibriSpeech и VoxCeleb1, с трёхсекундными фрагментами. Это требует вмешательства в обучающий набор: результат не описывает обход любого неизменённого сервиса одним специальным звуком.

Результаты. В шести сочетаниях модели и корпуса доля навязанных целевых ответов превышает 94%, средняя — 97,00%, при небольшом изменении обычной точности. Здесь ASR в таблицах означает attack success rate, не распознавание речи. На ограниченной физической проверке повторной записи получены 96,5% для ECAPA-TDNN, 99,0% для x-vector и 78,0% для RawNet3. Эти цифры показывают уязвимость в заданных условиях, а не частоту успешной атаки в произвольной комнате.

Ограничения. Это закрытая идентификация, а не открытая верификация с произвольными новыми пользователями. Акустическое испытание использует одну простую схему воспроизведения и 200 фраз на модель; широкая проверка устройств и помещений отсутствует. Качество в основном оценивается автоматическими предикторами и близостью содержания, без доказательства полной неразличимости слушателями. Приведённые вмешательства диагностируют одну обученную зависимость и не становятся автоматически универсальной защитой.

Фишка из статьи. Наиболее содержателен контроль таблицы V: авторы разъединяют фазовую и амплитудную части воздействия на уже фиксированном ECAPA-TDNN. Это сильнее, чем просто сравнить две красивые спектрограммы.

Как это читать: при одинаковом обученном идентификаторе амплитудная часть почти не активирует зависимость, а фазовая сохраняет её. Всепропускающее преобразование может существенно изменить временную структуру без заметного изменения амплитуды спектра. Поэтому контроль целостности обучающих данных и фазочувствительные проверки дополняют, а не заменяют обычный тест точности; параметры и процедура построения воздействий для такого вывода не требуются.

Источник. Оригинальное название: GDBack: A Group-Delay Backdoor Attack on Speaker Identification via Analytic All-Pass Filtering. arXiv:2611.01721; полный текст PDF.