VeriSpoof: обнаружение, атрибуция и анализ поддельной речи одной аудиоязыковой моделью

VeriSpoof объединяет обнаружение синтетической речи, поиск изменённых участков и сравнение источников генерации. Интересна не сама текстовая оболочка детектора, а разделение акустических свидетельств, сведений о генераторе и проверяемых утверждений. Авторы отдельно выясняют, когда дополнительные задачи помогают, а когда вредят бинарному обнаружению.

Метод. Кодировщик Qwen3-ASR анализирует восьмисекундное окно. Обучаемая смесь его 25 слоёв формирует 16 глобальных и 52 временных представления; последние сохраняют шаг около 0,16 с. MiniCPM5-2B с LoRA отвечает на вопросы, причём уверенность берётся из вероятности ответа. Объяснение имеет проверяемые поля: измеряемые свойства сигнала, условия записи, интервалы подмены и сведения об источнике. Обучение проходит через акустическое согласование, вопросы и объяснения с контрфактическими примерами. Обновляются 29,7 млн из 2,85 млрд параметров.

Результаты. На зафиксированном авторами срезе Speech-DF-Arena из 14 тестов объединённая EER равна 2,14% для Plus и 4,43% для Base. У Plus EER сравнения незнакомых генераторов известных архитектур составляет около 6,2%, но для новых архитектур уже 15,0%. На PartialEdit у Base решение после объяснения правильно в 99,6% случаев против 78,4% для прямого ответа на тех же примерах.

Ограничения. Модель работает с ограниченными окнами, а высокое качество решения не гарантирует точных границ всех коротких подмен. Верная локализация в объяснении и согласие с ним при искусственном редактировании не доказывают безошибочность свободного рассуждения. Объединённые пороги хуже переносятся между доменами, чем предполагает среднее отдельных EER. Небольшое число обучаемых параметров не отменяет загрузки всей большой модели при выводе.

Фишка из статьи. Таблица 10 проверяет, нужны ли метки источника или достаточно добавить ещё бинарных примеров. A обучается нескольким задачам; B имеет столько же вопросов о подлинности, а B′ столько же шагов обучения, примерно в пять раз больше бинарных вопросов.

Как это читать: метки генератора дают сильный отдельный выигрыш для пересинтеза кодеками, но ухудшают ASVspoof 2021 LA. Следовательно, многозадачность не является универсальной регуляризацией. Полезная инженерная идея: проверять прирост по семействам генерации и каналам, а не только по общей EER; авторы приводят парные интервалы и заранее заданное правило сравнения.

Источник. Оригинальное название: VeriSpoof: Beyond Real or Fake with One Audio LLM. arXiv:2611.04634; полный текст PDF.