Когда самообученные представления действительно помогают восстановлению речи

Сближение признаков испорченной и чистой речи не всегда ведёт к лучшему звуку. При сильных искажениях расстояние в самообученном пространстве теряет связь с показателями качества; некоторые записи начинают напоминать там шум, хотя речь ещё слышна. ERI даёт кодировщику промежуточные признаки уже частично восстановленного сигнала, чтобы его целевая функция снова стала полезной.

Метод. Исследование сравнивает WavLM, HuBERT, SPEAR и wav2vec2.0 на четырёх степенях смешанных искажений, от шума до ограничения полосы, обрезания и потерь пакетов. Рабочая система объединяет SEMamba++ и WavLM с LoRA. Признаки второго блока восстановителя проецируются и подаются после свёрточного входа WavLM, а очищенное представление возвращается в третий блок через адаптивную нормализацию. Остановки градиента не дают ошибке пространства признаков напрямую перестраивать восстановитель и отделяют её от спектральной цели.

Результаты. На VoiceFixer ERI получает PESQ 2,82, ESTOI 0,71 и фонемное сходство LPS 0,92 против 2,76, 0,70 и 0,87 у SEMamba++. DNSMOS OVRL остаётся 3,10 у обеих систем, а UTMOS растёт с 3,75 до 3,86. RTF на RTX 4090 меняется с 0,015 до 0,020. Однако полное число параметров увеличивается с 2,7 до 340 млн, из которых обучаются 24,5 млн: небольшая прибавка времени на мощной GPU не означает такой же цены на устройстве.

Ограничения. Качество восприятия оценивается автоматическими предсказателями, а не слушателями. Анализ корреляции использует усреднённый последний слой и 100 английских реплик, не все возможные способы считывания. Порог распада зависит от записи и искажения, универсального SNR не установлено. Основной тест и внутренние абляции различаются, поэтому их значения PESQ нельзя смешивать. Лучшее выравнивание скрытых признаков также не гарантирует сохранения всех деталей произношения.

Фишка из статьи. Внутренняя таблица 2 отделяет качество предварительного восстановителя от пользы ERI. На менее обученной основе выигрыш по PESQ исчезает, хотя предсказанное качество ещё улучшается.

Как это читать: источник подсказки должен уже содержать полезное восстановление, а разные критерии реагируют не одинаково. Замена простого объединения более сложным AdaLN увеличивает обучаемую часть с 24 до 32 млн без убедительного общего выигрыша. Это аргумент в пользу содержания промежуточных признаков, а не сложности соединительного модуля.

Источник. Оригинальное название: When Do Self-Supervised Representations Help Speech Restoration?. arXiv:2610.30869; полный текст PDF.