Межъязыковая верификация диктора с помощью предобученных самообученных моделей

Работа исследует верификацию диктора, когда регистрационная и проверочная записи могут быть на разных языках. Интерес здесь не только в итоговом EER, но и в систематическом сравнении многоязычных самообученных основ: больший размер и большее число языков не гарантируют лучшего переноса личности.

Метод. Система для TidyVoice 2026 сочетает w2v-BERT 2.0 на 580 млн параметров с компактными ReDimNet B5/B6, обучает их в несколько этапов и применяет калибровку качества QMF. Для многоканального входа сравниваются простое объединение каналов и иерархическое перекрёстное внимание HCAF. Итог строится слиянием разнородных оценок.

Результаты. Итоговое слияние даёт EER 2,2097% на eval-A и 2,9909% на eval-U. Отдельный w2v-BERT 2.0 с QMF получает 2,732% и 2,839%, ReDimNet B6 — 2,516% и 3,434%. На сравнении основ w2v-BERT 2.0 достигает EER 2,0927%, тогда как XLS-R 300M — 2,9394%, XLS-R 1B/2B — около 3,10%, MMS 300M/1B — 3,27/3,46%. Простое объединение каналов получает EER 2,0927%, а более сложный HCAF — 2,1543%, хотя у него лучше minDCF.

Ограничения. Результаты привязаны к одному соревнованию, его языкам и протоколу. w2v-BERT 2.0 требует 580 млн параметров и 58,43 GMAC против 9,2 млн и 9,87 GMAC у компактной модели; задержка и память не измерены. Лучший результат использует слияние и калибровку, поэтому его трудно приписать одному компоненту.

Фишка из статьи. Масштаб предобучения не образует монотонной лестницы качества. XLS-R 2B хуже XLS-R 300M, MMS 1B хуже MMS 300M, а простой способ объединить каналы обходит специализированное внимание по EER. Для личности говорящего состав данных и индуктивное смещение важнее числа параметров.

Как это читать: многоязычность полезна не как счётчик языков или параметров. Перед выбором большой основы стоит проверить конкретное сохранение признаков диктора и стоимость вычислений, а сложное межканальное слияние оценивать по нужной рабочей метрике.