Сколько аудио остаётся в эмбеддинге? Аудит аудиоэнкодеров через инверсию

Работа проверяет не то, насколько удобны аудиоэмбеддинги для классификации, а сколько исходного сигнала из них в принципе можно восстановить. Авторы обучают один и тот же диффузионный декодер для нескольких замороженных энкодеров и тем самым отделяют свойства представления от возможностей конкретного генератора. Получается практический аудит обратимости: семантически сильный эмбеддинг может почти не хранить точную запись, а небольшое изменение интерфейса одного и того же энкодера заметно повышает риск восстановления.

Метод. Декодер на основе латентной диффузии Stable Audio Open восстанавливает пятисекундные стереофрагменты 44,1 кГц из представлений VGGish, CLAP, ConvNeXt и EnCodec. Для честного сравнения архитектура декодера и обучающая выборка одинаковы: 219 810 фрагментов для обучения, 26 190 для проверки и 26 367 для теста из Million Song Dataset с разделением по исполнителям. Сравниваются как глобально свёрнутые признаки, так и варианты, сохраняющие временную или частотную структуру.

Результаты. У нативного EnCodec точность поиска исходного фрагмента R@1 достигает 100%, а у восстановленного через общий диффузионный декодер варианта — 89,4%. Для ConvNeXt сохранение частотных позиций повышает R@1 с 9,4% до 35,2% и R@10 с 20,1% до 53,9%, хотя энкодер остаётся тем же. У CLAP разбиение пятисекундного входа на секундные признаки поднимает R@1 с 0,6% до 2,4%. При этом качество тегирования меняется гораздо слабее, то есть пригодность для смысловой задачи плохо предсказывает обратимость.

Ограничения. Эксперимент охватывает только инструментальную музыку: вокал удалён Demucs, поэтому выводы нельзя напрямую переносить на речь и идентификацию говорящего. Успешная инверсия также не равна готовой атаке на приватность: злоумышленнику нужен обученный декодер и данные из близкого распределения. Каждый интерфейс обучался около 36 часов на четырёх GPU, а возможности восстановления ограничены доменом Stable Audio Open.

Фишка из статьи. Самый показательный опыт меняет не энкодер, а способ выдачи его признаков. Глобальное усреднение ConvNeXt уничтожает расположение частот, тогда как разворачивание частотной оси оставляет те же признаки, но резко увеличивает возможность найти исходную запись.

Как это читать: высокое качество прикладного классификатора ещё не означает, что представление безопасно. Геометрия интерфейса — сохранены ли временные и частотные координаты — влияет на обратимость сильнее, чем несколько пунктов качества тегирования.