Pmeta-TLA: timbre-leakage backdoors для speech classifiers

Pmeta-TLA относится к security/robustness работам для speech classification: авторы утверждают, что существующие audio backdoor triggers слишком заметны для quality или speaker/timbre detectors, и предлагают trigger на уровне “утечки тембра”. Идея TLA — заменить часть self-supervised semantic vectors на близкие timbre vectors из trigger set, а Pmeta-TLA обучает модель “уметь встраивать” несколько backdoors через meta-learning и PCGrad.

Метод. Attack pipeline остается data poisoning: poisoned samples попадают в training data, после чего модель нормально классифицирует clean speech, но реагирует на trigger. Новое здесь — multi-backdoor meta-training: clean task и backdoor tasks оптимизируются совместно, а PCGrad проектирует конфликтующие gradients backdoor-задач относительно clean task. Это должно уменьшить конфликт между benign accuracy и attack success при нескольких timbre triggers.

Результаты. На GSCv2 KWS Pmeta-TLA (t=3) дает ASR 99.67/99.40/99.13/98.20% для ERes2Net, KWS-ViT, EAT-S и CAM++. При этом poisoned number ниже или сопоставим с baseline: например, ERes2Net 300×3 против TLA-M 400×3 и VSVC 300. В эксперименте с пятью simultaneous backdoors Pmeta-TLA сохраняет ASR 98.93/99.67/99.40/98.93% при PN 300/350/350/350. Trigger filtering почти не сбивает атаку: high-frequency removal дает ASR 98.27 на EAT-S и 97.73 на CAM++, all filters — 94.93 и 95.67.

Ограничения. Работа описывает атаку, а не защиту, и часть defense analysis опирается на визуальные/эмпирические проверки. Результаты в основном KWS/SV setting, а перенос на production ASR, streaming wake-word pipelines и real data c шумом не доказан. В TeX есть признаки черновой подготовки, поэтому к деталям воспроизводимости стоит относиться осторожно.

Фишка из статьи. Самая содержательная таблица — simultaneous multi-backdoor experiment: meta-learning и PCGrad отдельно помогают, но лучший результат получается в полной Pmeta-TLA связке.

Как это читать: ячейки показывают ASR% / poisoned number. Полная Pmeta-TLA не всегда имеет максимальный ASR на каждом столбце, но дает более выгодный trade-off: высокий ASR при меньшем PN, особенно по сравнению с PCGrad-only вариантом.