HFSWO: расширение полосы речи с контролем избыточной высокочастотной энергии

При восстановлении верхних частот важно не просто добавить энергию: длительный искусственный шорох и короткий естественный согласный требуют разного контроля. HFSWO обучает совместные амплитудную и фазовую ветви с двумя дополнительными ограничителями высокочастотной структуры. Работа интересна конкретизацией нежелательного «переусиления», хотя меньшая модель не оказывается быстрее во всех измерениях.

Метод. Две одномерные Swin-ветви обмениваются признаками амплитуды и фазы; фазу восстанавливают через псевдодействительную и псевдомнимую составляющие. HFSD штрафует устойчиво завышенное отношение энергии верхней полосы, допуская краткие выбросы, и обновляет множители ограничения. WOSD учится взвешивать спектральную плоскостность, центроид и спад на уровне 85%. Эти обучающие сигналы добавлены к многомасштабным амплитудному и фазовому дискриминаторам. Это структурные ограничения на синтез, не измерение гарантированно истинной недостающей речи.

Результаты. Для VCTK при переходе 4→16 кГц NISQA-MOS растёт с 3,86 у AP-BWE до 4,32, но PESQ почти не меняется: 2,55 → 2,56, WER — 13,7% → 13,6%. При 8→16 кГц SI-SNR слегка хуже: 17,99 против 18,07 дБ. На французском MLS также есть улучшения некоторых показателей. Субъективный небольшой тест даёт MOS 4,32 против 4,21. Входные и выходные числа в обозначении задачи — частоты дискретизации, а не границы полосы, которую действительно восстановили.

Ограничения. Проверены два языка, для французского взято 35 часов. Статистический анализ на 1000 фразах с семью говорящими относится к NISQA-предсказаниям, хотя раздел назван анализом MOS: его нельзя выдавать за 1000 независимых человеческих оценок. Значимый по фразам результат не сохраняется по семи говорящим: p = 0,469. GPU-RTF намного меньше единицы не доказывает причинность и отсутствие алгоритмического накопления данных. Диагностики «на основе ITU» не равны сертифицированным полным метрикам стандартов.

Фишка из статьи. Таблица 4 прямо показывает, что сокращение числа параметров и арифметических операций не превратилось в меньшую измеренную задержку. Дискриминаторы нужны для обучения и не должны смешиваться с трактом генерации при оценке внедрения.

Как это читать: на 74,6% меньше параметров и примерно на 63,6% меньше MAC — полезно для памяти и теоретической нагрузки, но фактическая задержка здесь чуть выше. Архитектурные операции, обмены и эффективность ядер имеют значение. Выбирать реализацию для потоковой обработки следует по измеренной задержке на целевом устройстве и реальному размеру входа, а не только по числу весов.

Источник. Оригинальное название: High Frequency Safeguard and Weighted Objective Scoring Bandwidth Extension. arXiv:2611.02235; полный текст PDF.