Уязвимость детекторов поддельной речи к дообучению вокодера

Работа проверяет, достаточно ли изменить последний акустический модуль синтезатора, чтобы резко ухудшить распознавание поддельной речи. Текстовая и акустическая части FastSpeech 2 остаются фиксированными, а BigVGAN дообучается с обратной связью от детекторов. Для защитника важен перенос эффекта на детектор, который не участвовал в таком дообучении: проверка только знакомого генератора даёт слишком оптимистичную оценку.

Метод. Авторы сравнивают исходный вокодер и два варианта, настроенных по одному или двум замороженным детекторам. При генерации дополнительные проверяющие сети уже не нужны: меняются параметры самого вокодера. Синтезатор использует 260 часов LibriTTS, 1158 говорящих и частоту 22,05 кГц. Отдельный внутренний набор для детекторов содержит 251154 настоящих и синтетических записи. Оценка включает RawNet, TSSD и не использовавшийся при настройке AASIST, объективную аудиодистанцию FAD и слушательскую проверку.

Результаты. У исходного синтеза EER составляет 5,80% для RawNet, 3,40% для TSSD и 0,85% для AASIST. После двухдетекторной настройки значения достигают 43,87, 43,31 и 23,26% соответственно. Это ухудшение защиты, а не улучшение детекторов; 50% соответствовало бы неинформативному различению при данном протоколе. FAD по CLAP-представлениям уменьшается с 31,25 до 17,81. Двадцать опытных слушателей также оценивают реалистичность, но эта проверка не превращает EER в вероятность принятия подделки при любом рабочем пороге.

Ограничения. Проверены один синтезатор и три конкретных детектора. Случайное разделение внутреннего набора 90/10 не устанавливает независимость говорящих; близость исходного генератора обучающим подделкам может объяснять особенно низкую начальную ошибку. Нет широкой проверки современных неизвестных архитектур, новых языков и реальных каналов связи. Улучшение FAD не доказывает сохранения каждой фонемы или личности говорящего. Объяснение через характерные следы вокодера правдоподобно, но их причинная идентификация отдельно не проведена.

Фишка из статьи. Таблица II отделяет результат на сетях с доступной обратной связью от переноса на AASIST. Рост ошибки неизвестного детектора существенно меньше, но далеко не нулевой.

Как это читать: разница 21,09 → 23,26% на AASIST гораздо скромнее, чем первоначальный скачок 0,85 → 21,09%. Главная инженерная проблема не в добавлении ещё одного знакомого детектора, а в устойчивости к изменениям генератора. Для защитной оценки нужны независимые семейства вокодеров, разделение по говорящим и показатели при фиксированной допустимой ложной тревоге, а не один EER на родственном наборе.

Источник. Оригинальное название: Detector-Guided Vocoder Training for Adversarial Text-to-Speech Synthesis. arXiv:2611.04511; полный текст PDF.