Проверка диктора по записям короче секунды: сравнение речевых представлений для голосовых агентов
Голосовой агент должен отличать пользователя от фоновой речи даже по короткому «да» или «нет». Эта работа сравнивает пять открытых моделей дикторских представлений на телефонных записях и показывает два неприятных эффекта: шумоподавление часто ухудшает проверку, а победитель контролируемого теста не обязательно лучший на рабочем трафике. Это исследование практического каскада, а не новая архитектура распознавания голоса.
Метод. Контролируемый набор строится из 400 реальных звонков: первые 15 секунд оставляют для регистрации пользователя, затем в интервалы тишины добавляют речь другого реального человека. Одновременное перекрытие голосов исключено. Silero VAD одинаково настроен во всех вариантах; сравниваются исходный сигнал, DeepFilterNet и DTLN. Для рабочей выборки пары размечены людьми и статистически взвешены. Отдельно проверяются полные VAD-сегменты примерно до секунды, обрезки 700 мс и усечённые представления TitaNet.
Результаты. На контролируемом исходном аудио CAM++ получает EER 28,69%, TitaNet-Small 29,83%, ECAPA-TDNN 29,78%. На рабочем трафике порядок меняется: TitaNet-Small 30,57%, CAM++ с 3D-Speaker 31,31%, ECAPA-TDNN 51,34%. Обрезка TitaNet-Small до 700 мс увеличивает EER до 31,51%. Сохранение первых 92 из 192 координат TitaNet почти не меняет EER в этой популяции, сокращая хранение и вычисление сходства, но не стоимость извлечения полного исходного вектора.
Ограничения. Ошибки велики, данные частные, преимущественно мужская речь на хинди; результаты не обосновывают универсальный выбор модели. Перекрывающиеся источники не проверены. После шумоподавления меняется само число VAD-сегментов: 7607 исходно, 7247 после DeepFilterNet и 7971 после DTLN. Поэтому опыт смешивает изменение спектра и сегментации. Объяснение последних координат демографическими признаками наблюдательное, не доказано покоординатными пробниками. Полной аппаратной оценки задержки и доверительных интервалов для всех различий нет.
Фишка из статьи. Таблица 3 важна именно исключениями: DTLN не ухудшает каждую модель безусловно, а DeepFilterNet ухудшает все перечисленные. Ниже EER на контролируемом наборе; меньше лучше.
| Модель | Исходное аудио, % | DeepFilterNet, % | DTLN, % |
|---|---|---|---|
| CAM++ | 28,69 | 30,72 | 30,38 |
| TitaNet-Large | 29,62 | 33,18 | 29,96 |
| ECAPA-TDNN | 29,78 | 32,16 | 29,33 |
| TitaNet-Small | 29,83 | 34,72 | 31,34 |
Как это читать: для ECAPA-TDNN DTLN помогает на 0,45 пункта, но не достигает результата CAM++ на исходном сигнале. Это основание раздельно проверять ветви распознавания текста и диктора, а не автоматически отправлять в обе улучшенный звук. Чтобы изолировать именно спектральный эффект, нужен дополнительный опыт с одинаковыми зафиксированными границами сегментов.
Источник. Оригинальное название: Benchmarking Speaker Embedders in the Sub-Second Regime for Real-Time Voice AI Agents. arXiv:2611.09516; полный текст PDF.