VoxAnon: сбалансированный набор данных для справедливой оценки анонимизации речи
VoxAnon создаёт контролируемый стенд для анонимизации речи, где пол, возраст, акцент и высота голоса сбалансированы и в обучении атакующего, и в списках испытаний. Это позволяет отличить среднюю приватность от ситуации, когда одна группа заметно легче повторно идентифицируется.
Метод. Из VoxCeleb1/2 выбраны 1000 обучающих дикторов (291 час), 50 тестовых и 100 регистрационных; сформировано 50 тысяч пар. Разные видео одного человека дополнительно отбираются по низкому семантическому сходству: среднее 0,46 против 0,79 для ближайших роликов. Три анонимизатора атакуются четырьмя системами верификации.
Результаты. Средняя EER, где больше означает лучшую приватность, равна 30,28% для B5, 28,88% для B3 и 21,48% для B4. Однако для B4 SSL-атакующие снижают EER примерно на 8 процентных пунктов относительно ResNet. Наибольший разброс между подгруппами возникает по акценту — стандартное отклонение до 5,02; американский акцент легче всего повторно идентифицировать в 10 из 12 сочетаний.
Ограничения. Атрибуты частично получены автоматически, а балансировка выполнена по отдельным признакам, не по всем их пересечениям. VoxCeleb остаётся доменом интервью знаменитостей; возрастные метки неполны, а набор анонимизаторов и атак ограничен.
Фишка из статьи. Балансировать только тест недостаточно: состав обучения атакующего меняет не только среднюю EER, но и направление группового разрыва.
| Наблюдение | Масштаб | Практический смысл |
|---|---|---|
| Разница SSL и ResNet против B4 | около 8 п.п. EER | приватность зависит от класса атакующего |
| Разброс по акцентам | σ до 5,02 | средняя EER скрывает уязвимую группу |
| Американский акцент | проще в 10/12 сочетаний | баланс меток не устраняет структуру корпуса |
Как это читать: «справедливая» оценка требует менять и данные атаки, и пары проверки. Иначе можно объявить систему приватной по средней EER, хотя конкретный акцент остаётся узнаваемым.
Источник: arXiv:2610.13313. Оригинальное название: VoxAnon: A balanced dataset for a fair evaluation of speech anonymization.