C-MIND: выявление подмены речевого содержания по локальной согласованности звука и движений губ

Обычная синхронность губ со звуком перестаёт быть достаточным признаком настоящего видео: генератор может специально её оптимизировать. C-MIND ищет более локальные несоответствия акустической динамики и артикуляции, не используя текст или исходную неподделанную запись. При этом перенос на неизвестный генератор остаётся заметно слабее результата внутри собственного набора.

Метод. Звуковая ветвь TDNN и визуальная ветвь с 3D-свёрткой, остаточным кодировщиком и временными свёртками приводятся к общей покадровой сетке. В SyncLip-C объединяются два вектора, их произведение и абсолютная разность; затем статистическое объединение и MLP предсказывают подделку. SyncSpeech на основе LRS3 содержит подмены звука тем же и другим диктором и Wav2Lip-подделки. В обучении 20 тыс. реальных и 20 тыс. поддельных видео, в тесте 320 и 1280 соответственно.

Результаты. Предобученная на аудиовизуальной верификации версия достигает средней по пяти сценариям точности 95,813% и AUC 0,9943. Для неизвестных дикторов средняя точность равна 94,375%, AUC 0,9918. После отдельного обучения на FakeAVCeleb правильно классифицируются 278 из 280 выбранных тестовых примеров; это не нулевой перенос без адаптации. На невиданном Video-Retalking распознаются лишь 519 из 627 подделок, 82,775%, против 80,223% у воспроизведённого SyncNet.

Ограничения. Video-Retalking проверяет только новые поддельные примеры, поэтому эту долю нельзя считать полной точностью смеси настоящих и ложных видео. Малые внешние поднаборы не совпадают с тестами чужих публикаций. Нет оценки разброса обучения по инициализациям, устойчивости к сжатию и произвольным монтажным цепочкам. Сохранение сигнала у нового диктора не равно независимости от генератора; детектор пока не является универсальным доказательством подлинности речи.

Фишка из статьи. Абляция таблицы 2 отделяет пользу покадрового сравнения губ от усложнения взаимодействия. Ниже обе губные модели обучены с нуля, без преимущества предобучения.

Как это читать: более сложное объединение повышает точность при выбранном пороге, но не улучшает AUC относительно простой покадровой конкатенации. Самый убедительный вывод здесь касается локализации на губах и сохранения временного соответствия, а не обязательной необходимости каждого взаимодействия. Разные метрики отделяют качество ранжирования от удачности конкретного порога и сценарного состава теста.

Источник. Оригинальное название: Lip-Focused Audio-Visual Consistency Detects Speech Content Manipulation beyond Coarse Synchronization. arXiv:2610.30872; полный текст PDF.