К полному обезличиванию речи: потоковый каскад для защиты голоса и удаления персональных данных
Замена тембра не защищает человека, если он произносит имя, адрес или другие идентификаторы. Авторы соединяют распознавание, выделение персональных данных и повторный синтез, пытаясь приблизить такой каскад к потоковой работе. Главный результат не «полная анонимность», а измеренный компромисс между защитой голоса, сохранением слов и задержкой обработки.
Метод. Whisper turbo запускается на блоках 700–1300 мс, границы уточняет Silero VAD; потенциально обрезанные слова переносятся в следующий блок. Между распознаванием и VoxCPM2 стоит обученный выделитель сущностей: spaCy, GLiNER либо Qwen2.5 с LoRA. Он видит левый контекст, но отмечает только сущности текущего блока. Синтез продолжается с предыдущей фразы и периодически сбрасывает контекст после тишины, двух фраз или десяти секунд, ограничивая накопление ошибок. Голосовой образец синтетический, а не голос исходного человека.
Результаты. На LibriSpeech test после преобразования WER составляет 11,44% против 1,84% для исходной речи; без удаления персональных данных. EER полуинформированного проверяющего достигает 44,18–47,66% по половым и тестовым поднаборам, то есть близок к случайному различению в этом протоколе. Сохранение эмоций слабое: UAR 29,22% против 71,06% на оригинале. UTMOS равен 3,21±0,44 против 3,35±0,28. Для SLURP лучшая SLU F1 на распознанных блоках составляет 69,01%, а не гарантированное удаление всех чувствительных сведений.
Ограничения. Оценка 717 мс складывается из медианных задержек распознавания, GLiNER и начала синтеза на RTX PRO 6000; это не непосредственно измеренная медиана всего защищающего каскада. Без NLP измерено 711 мс, отношение длительностей выхода и входа равно 1,33. На длинном разговоре проигрывание способно накапливать отставание, которое измерение начала реплики не учитывает. Проверка персональных данных ограничена выбранными типами сущностей и английским языком; ошибки распознавания и неполный контекст оставляют утечки. EER одного проверяющего не является универсальным доказательством приватности.
Фишка из статьи. Таблица 4 отделяет ошибки понимания текста от ошибок речевого входа. Для spaCy сравниваются чистая транскрипция и реальные распознанные блоки SLURP; для двух других строк используется моделируемая потоковая обработка текста DialogPII.
| Условие | Entity F1, % | SLU F1, % | Задержка NLP, мс |
|---|---|---|---|
| spaCy, SLURP: чистый текст | 87,19 | 88,98 | — |
| spaCy, SLURP: блоки распознавания | 54,82 | 69,01 | — |
| GLiNER Small, DialogPII | 61,22 | 69,14 | 6 |
| Qwen 1.5B, DialogPII | 56,27 | 64,22 | 46 |
Как это читать: более тяжёлая языковая модель не компенсирует автоматически ошибки каскада. Для SLURP распознавание имеет около 24% WER, и качество выделения сущностей резко падает. Лёгкий GLiNER в другом, текстовом опыте одновременно быстрее и точнее Qwen, однако подбор параметров не был систематическим: это полезная инженерная отправная точка, не окончательный рейтинг архитектур и не основание смешивать два протокола оценки.
Источник. Оригинальное название: Toward Complete Speaker Anonymization: a Streaming Cascaded System for Voice Privacy and PII Removal. arXiv:2610.39754; полный текст PDF.