ReplayFactor: раздельное моделирование синтеза и повторного воспроизведения для обнаружения поддельной речи
Синтетическая речь после проигрывания через динамик меняет признаки, по которым её распознавал цифровой детектор. ReplayFactor разделяет две оси: кто создал голос — человек или генератор — и проходил ли он повторную акустическую запись. Это позволяет не смешивать подлинность источника с особенностями устройства воспроизведения.
Метод. MMS-300M и AASIST формируют общее представление, из которого выделяются признаки происхождения и повторного воспроизведения. Во вторую ветвь через обучаемый затвор добавляются CQCC с временными производными, извлечённые лёгкой свёрточной сетью. Основная задача различает четыре класса: настоящий, синтетический и их повторно записанные варианты. Две вспомогательные классификации и раздельное контрастивное обучение поддерживают согласованность каждого атрибута при смене второго. Дополнительно собран ReplayFake-CN: 184 954 китайские записи, 232,5 часа, 90 пар устройств.
Результаты. На открытом EchoFake macro-F1 достигает 76,44%, EER — 3,05%. Относительно опубликованного XLSR-Linear это 60,99% и 11,86%, но более близкий воспроизведённый MMS-AASIST даёт 62,27% и 7,26%. На ReplayFake-CN доля правильно определённых повторно записанных подделок растёт с 84,22% до 85,44%; при одновременно неизвестных генераторах и устройствах — только с 73,30% до 73,75%. Перенос на ReplayDF остаётся слабым: F1 двух присутствующих классов 38,31% и 40,32%.
Ограничения. Обучение китайского варианта использует не только публичные повторные подделки, но и закрытые внутренние данные других трёх классов, всего около 400 тыс. примеров. Точность по одному классу RF не равна полной четырёхклассовой accuracy. Бинарная EER считает только прямую настоящую запись подлинной, а повторную настоящую — атакой. Для архивной записи человека другая политика может быть уместнее. Нет достаточной проверки дальних микрофонов, новых комнат и независимых телефонических трактов.
Фишка из статьи. Абляция таблицы 4 показывает, что одна метрика может скрыть потерю полезного различения. При удалении контрастивного обучения бинарная EER даже улучшается, хотя среднее F1 четырёх классов падает.
| Вариант на EchoFake open | EER, % ↓ | Macro-F1, % ↑ | F1 повторной настоящей речи, % ↑ |
|---|---|---|---|
| MMS-AASIST | 7,26 | 62,27 | 25,93 |
| Полный ReplayFactor | 3,05 | 76,44 | 61,12 |
| Без акустических признаков | 8,11 | 73,54 | 61,44 |
| Без контрастивного обучения | 2,70 | 73,89 | 50,77 |
Как это читать: контрастивное обучение помогает различать происхождение записи, но не оптимизирует бинарную рабочую точку автоматически. Перед выбором детектора нужно определить, какие классы действительно считаются угрозой, и отдельно оценить пропуски синтеза и ложные обвинения настоящей повторной записи.
Источник. Оригинальное название: ReplayFactor: Replay-Aware Dual-Attribute Learning for Practical Speech Deepfake Detection. arXiv:2611.02628; полный текст PDF.