Combining Self-Embedding Audio Watermarking with Ultra-Low-Bitrate Neural Codecs
Вместо обычного водяного знака с коротким идентификатором авторы прячут в записи сжатое представление самой этой записи. При проверке из младших битов извлекается эталонная реконструкция, а временное рассогласование с текущим звуком указывает не только факт подделки, но и ее положение.
Метод. Поток сверхнизкоскоростного нейронного кодека записывается в один, два или четыре младших бита PCM и многократно повторяется; ошибки исправляются голосованием. Для поиска вставок, удалений и замены фрагментов текущую запись сравнивают с извлеченной реконструкцией через динамическое выравнивание по времени. Опыт охватывает 1480 реплик из проверочной части AV-Deepfake1M и четыре типа вмешательства: прямую и синтезированную замену, удаление и вставку тем же либо другим диктором.
Результаты. Во всех сочетаниях кодека и глубины внедрения поток восстанавливается без битовых ошибок, а качество водяного знака остается PESQ 4,64. Лучший средний EER дает SemantiCodec: 14,47–14,78%, при площади под кривой локализации около 0,84. SNAC близок, тогда как TAAE дает EER около 32% и AUC 0,785. Качество восстановленного эталона умеренное: PESQ 1,63–1,75. Самым трудным вмешательством оказывается удаление.
Ограничения. Проверка проходит в идеальном цифровом канале: без перекодирования, шума, изменения громкости и акустического перезаписывания. Поэтому младшие биты остаются уязвимым транспортом, несмотря на повторение. Субъективной оценки реконструкции нет, а ее PESQ недостаточен для прослушивания как качественной копии.
Фишка из статьи. Более «естественная» генеративная реконструкция TAAE здесь мешает: она повышает собственное расхождение с подлинником и затрудняет пороговое обнаружение. Выбор кодека влияет на защиту намного сильнее, чем число занятых младших битов.
| Кодек | Скорость потока | Повторов при LSB-1 за 1 с | Средний EER | AUC локализации | PESQ эталона |
|---|---|---|---|---|---|
| SNAC | 0,98 кбит/с | 15 | 15,00–15,15% | 0,839 | 1,75 |
| SemantiCodec | 0,65 кбит/с | 22 | 14,47–14,78% | 0,839–0,840 | 1,63 |
| TAAE | 0,40 кбит/с, номинально | 18 | 32,05–32,11% | 0,785 | 1,65 |
Как это читать: меньшая номинальная скорость TAAE не превращается в большее число полезных повторов из-за формата хранения, а его EER более чем вдвое хуже. Для самовстраивания важна не только степень сжатия, но и предсказуемость ошибки реконструкции.