EmoShift: как смена эмоции внутри реплики нарушает обнаружение поддельной речи
Детектор поддельного голоса может реагировать на смену эмоции как на признак подлинности или, наоборот, подделки. EmoShift проверяет именно переход внутри реплики, а не просто различие между спокойной и эмоциональной речью. Такой эксперимент важен для разговорных систем: одна усреднённая EER может скрывать опасное изменение ошибок при уже установленном пороге.
Метод. Набор содержит 7240 настоящих и 9720 синтетических записей из ESD, OMG-Emotion, IEMOCAP и MSP-Podcast. Сопоставляются стабильная эмоция A→A и переход A→B при неизменной подлинности всей записи. В ESD совпадают диктор, текст и первый фрагмент, а распределение двадцати направлений перехода сбалансировано. В естественных корпусах это разные реплики; дополнительно контролируются диктор, длительность и эмоциональные координаты. Четыре синтезатора позволяют сравнить склейку сегментов и цельную генерацию. Семь детекторов обучены или настроены на ASVspoof 2019 LA; порог выбирается в точке EER на A→A и без изменения переносится на A→B.
Результаты. На OMG-Emotion все семь детекторов присваивают эмоционально меняющимся подделкам меньшие оценки поддельности; доля пропусков увеличивается на 9,7–25,3 процентного пункта. Для XLS-R-Mamba EER растёт с 38,7 до 53,2%, а пропуски при фиксированном пороге на 25,3 пункта. На IEMOCAP другая проблема: настоящая эмоционально меняющаяся речь повышает ложные тревоги AASIST на 24,4 пункта и RawNet2 на 18,6. Результаты различаются по корпусам и архитектурам, а не образуют одно универсальное направление сдвига.
Ограничения. Вне ESD сопоставления не идентичны по тексту и акустике, поэтому поправки уменьшают, но не устраняют все возможные смешивающие факторы. На естественных корпусах многие исходные EER уже превышают 50%: это также сильный сдвиг области данных, не только эффект эмоций. Проверены конкретные контрольные состояния детекторов и генераторы; исследование не доказывает универсальный способ обойти защиту. Контроли цельной генерации и локальных границ помогают отделить эмоции от артефактов склейки.
Фишка из статьи. Таблица 4 показывает, почему переопределять порог на каждом тестовом условии недостаточно. Изменение EER и изменение ошибки при рабочем пороге отвечают на разные вопросы.
| Корпус и детектор | EER A→A / A→B, % | Изменение при фиксированном пороге |
|---|---|---|
| ESD, XLS-R-SLS | 28,7 / 29,8 | Пропуски +6,8 п.п. |
| OMG, XLS-R-Mamba | 38,7 / 53,2 | Пропуски +25,3 п.п. |
| IEMOCAP, AASIST | 53,2 / 67,6 | Ложные тревоги +24,4 п.п. |
Как это читать: в первой строке EER меняется всего на 1,1 пункта, но число пропущенных подделок при прежнем пороге растёт заметнее. Последняя строка относится к уже инвертированному на данном корпусе детектору, поэтому её нельзя выдавать за ухудшение надёжной производственной системы. Для аудита нужны отдельно пропуски и ложные тревоги, фиксированный порог и исходное качество переноса.
Источник. Оригинальное название: Too Emotional to Be Fake? Intra-Utterance Emotion Shifts Expose Failure Modes in Speech Deepfake Detectors. arXiv:2610.22832; полный текст PDF.