Устойчивость речевых водяных знаков к незнакомым нейросетевым кодекам
Обучение водяного знака на одном нейросетевом кодеке не гарантирует сохранения метки после другого. Авторы фиксируют архитектуру и меняют только кодек, используемый для искажения обучающих записей. Работа полезна как контролируемый анализ переноса: особенно сильное сжатие иногда помогает обобщению, но разные низкобитовые кодеки всё равно сохраняют разные признаки.
Метод. В генераторе на основе DAC заморожены кодировщик и квантователь, а декодер совместно обучается с детектором AASIST. Водяной знак нулебитовый: передаёт факт наличия метки, не пользовательскую строку. Сам генератор работает при 24 кГц, шаге 320 отсчётов и 32 кодовых книгах по 1024 элемента, то есть 24 кбит/с. Mimi 1,1 кбит/с и SNAC 0,98 кбит/с используются как отдельные обучающие каналы, а не как заявленный битрейт маркированного DAC. Для замороженных квантователей реализован проход градиента без обновления их весов.
Результаты. Проверяются 1000 английских записей LibriTTS-R длительностью до 10 с. Совместное обучение с Mimi и SNAC даёт полноту обнаружения 97,9% после EnCodec 6 кбит/с и 98,0% после DAC 8 кбит/с при ложном срабатывании 1%. Но реверберация снижает её до 25,4%, а последовательный пересинтез тремя кодеками до 21,9%. В прослушивании участвовали 26 прошедших контроль слушателей; для совместного варианта CMOS относительно исходника равен −0,092 ± 0,300.
Ограничения. Исследован один речевой корпус и ограниченный набор преобразований. Не проверены нейросетевые улучшители и вокодеры; локальные метки AudioSeal и глобальная метка новой системы имеют разные предположения. Интервалы CMOS не подтверждают превосходства над эталонным аудио. Время работы и сквозная задержка генератора не измерены, поэтому наличие компактного кодека не доказывает пригодность всего тракта для потока.
Фишка из статьи. Матрица таблицы 1 обнаруживает асимметрию переноса между двумя лучшими обучающими кодеками. Ниже указана полнота при 1% ложных срабатываний; столбец NanoCodec относится к незнакомому при обучении FSQ-кодеку.
| Обучающий канал | Тест Mimi, % | Тест SNAC, % | Тест NanoCodec, % |
|---|---|---|---|
| Только Mimi | 96,7 | 2,3 | 73,7 |
| Только SNAC | 45,0 | 96,8 | 70,9 |
| Mimi и SNAC | 83,6 | 80,0 | 77,2 |
Как это читать: совместное обучение расширяет охват, но уступает каждому специализированному варианту на его собственном канале. Низкий битрейт сам по себе не определяет сохраняемое скрытое пространство. Авторы рассматривают возможный конфликт градиентов как объяснение, а не как отдельно доказанный механизм. Для проверки устойчивости нужен набор разных архитектур и повторных преобразований.
Источник. Оригинальное название: Cross-Codec Robustness in Speech Watermarking. arXiv:2611.04716; полный текст PDF.