Водяной знак внутри латента аудиокодека
Статья про latent audio watermarking важна для синтетической речи, потому что нейрокодеки часто уничтожают водяные знаки, добавленные уже в waveform или спектрограмму. Авторы переносят 32-битное сообщение внутрь непрерывного латента codec-like автоэнкодера до нейронного декодера. Работа ценна тем, что честно показывает trade-off: устойчивость к EnCodec-24k растет, но PESQ падает.
Метод. Система использует SEANet-подобный encoder-decoder, Conformer-based message embedder, RVQ-guided latent decomposition и latent-domain detector. Сообщение добавляется как bounded residual в непрерывный pre-decoder latent, а RVQ не становится носителем сообщения, а помогает определить, какие части латента защищать и модифицировать. Детектор восстанавливает биты после signal-processing и neural-codec атак.
Результаты. На 48 кГц речи balanced training дает PESQ 3.727, ViSQOL 4.590, clean bit accuracy 99.8%, но EnCodec-24k bit accuracy только 78.8%. EnCodec-24k-focused training поднимает устойчивость к 95.6% при PESQ 3.514, а EnCodec-heavy endpoint - до 97.1% при PESQ 3.427. Для ориентира чистое аудио имеет PESQ 4.644, а EnCodec-24k reconstruction без watermark - 3.626 в их пайплайне.
Ограничения. Авторы не позиционируют метод как универсальный watermark baseline. EnCodec-16k остается разрушительным и дает bit accuracy около случайного уровня, то есть устойчивость к 24 кГц кодеку не переносится автоматически. Кроме того, DAC-style plain autoencoder сам по себе лучше по PESQ, но в полном watermark-пайплайне не улучшает ни качество, ни codec-robustness, значит проблема не сводится к выбору автоэнкодера.
Фишка из статьи. Самая полезная таблица показывает цену codec-aware обучения. Устойчивость к EnCodec-24k можно купить, но она покупается качеством, а не бесплатной регуляризацией.
| Вариант | PESQ | ViSQOL | Clean Acc. | EnCodec-24k Acc. |
|---|---|---|---|---|
| Balanced training | 3.727 | 4.590 | 99.8% | 78.8% |
| EnCodec-24k-focused | 3.514 | 4.553 | 100.0% | 95.6% |
| EnCodec-heavy endpoint | 3.427 | 4.531 | 100.0% | 97.1% |
Как это читать: повышение EnCodec-24k accuracy с 78.8% до 95.6% выглядит сильным, но PESQ снижается на 0.213. Дальнейший рост до 97.1% стоит еще 0.087 PESQ, поэтому практический режим, вероятно, ближе к focused training, а не к heavy endpoint.