Test-time adaptation for speech enhancement with an autoregressive speech prior

Здесь уже обученная система улучшения речи подстраивается отдельно под каждую запись, используя авторегрессионную модель чистой речи как априорное ограничение. Приём полезен тем, что не требует чистой пары для нового шума, но одновременно показывает опасность: слишком долгая оптимизация начинает заменять вход правдоподобной, а не обязательно верной речью.

Метод. Выход улучшателя переводится в скрытое пространство нейронного кодека, где авторегрессионная модель оценивает правдоподобие чистой последовательности. Градиент этой оценки обновляет параметры или выход для текущей фразы. Авторы сравнивают заранее предсказанную остановку с недоступной на практике остановкой по эталонному качеству.

Результаты. На DNS базовый DNSMOS OVRL равен 3,09; предсказанная остановка добавляет 0,05, а выбор лучшего шага по эталону — 0,18. На TIMIT прирост составляет 0,07 против 0,15. На EARS-WHAM эффект почти исчезает: OVRL не меняется, SIG падает на 0,01, BAK растёт на 0,02. Для Libri1Mix все три изменения лежат около 0,02–0,03.

Ограничения. Каждый пример требует обратного распространения при выводе, поэтому задержка и энергопотребление велики. Лучшие результаты используют недоступный эталонный выбор шага, а предсказатель остановки переносится не на все наборы. Проверяется главным образом аддитивный шум, а не полная совокупность реверберации и нелинейных искажений.

Фишка из статьи. Разрыв между предсказанной и эталонной остановкой показывает, что главный нерешённый компонент — не априор речи, а контроль момента, когда ему пора перестать вмешиваться.

Как это читать: на знакомом DNS потенциальный выигрыш втрое больше реализованного, а на EARS почти отсутствует. Адаптация полезна лишь при надёжном обнаружении начала перерождения сигнала.