Представление входа, а не размер модели, определяет устойчивость верификации диктора к временным искажениям

Шесть систем верификации диктора проверяются на речи, где отдельно разрушены периодичность, огибающая или тонкая временная структура. Во всех девяти сравнениях внутри семейств модель с мел-фильтрами теряет меньше, чем модель по сырой волне, даже когда она меньше и предобучена на гораздо меньшем объёме.

Метод. Авторы составляют пары свёрточных, Transformer- и Conformer-систем с волновым и фильтровым входом. Условие PER оставляет огибающую, но заменяет тонкую структуру; PER+ENV и PER+TFS параллельно возвращают соответственно огибающую или тонкую структуру. EER нормируется на оставшийся запас до случайных 50%, а доверительные интервалы строятся по 40 дикторам, не по зависимым парам испытаний.

Результаты. В контролируемой свёрточной паре EER ResNet1D возрастает с 2,90 до 29,74% при PER, а ResNet34 с мел-входом — с 1,06 до 17,09%. Для WavLM это 5,48→36,47%, для меньшей Speech2Text — 4,02→25,68%; для Wav2Vec2-Conformer — 4,37→39,26%, для w2v-BERT 2.0 — 1,19→9,47%. Возврат тонкой временной структуры в среднем восстанавливает 10,94 п.п. EER против 1,32 п.п. от огибающей.

Ограничения. Модели не обучались на деградациях; проверен VoxCeleb1-O и искусственные преобразования, далёкие от обычных кодеков и каналов. Пары Transformer/Conformer различаются не только входом; причинный вывод наиболее надёжен лишь для двух ResNet. EER у тяжело повреждённых систем упирается в потолок 50%.

Фишка из статьи. Масштаб предобучения не компенсирует уязвимость волнового входа.

Как это читать: WavLM видел примерно в 94 раза больше предобучения, чем Speech2Text, но деградирует сильнее. В контролируемой ResNet-паре разница остаётся без предобучения и почти при одинаковом размере, что указывает именно на представление входа.

Источник: arXiv:2610.12539. Оригинальное название: Input Representation, Not Model Size or Pretraining Scale, Shapes Speaker Verification Robustness to Temporal Degradation.