CRM: адаптация шумоподавителя без обновления весов с памятью остаточного сигнала
CRM возвращает в очищенную речь полезные компоненты, которые шумоподавитель ошибочно удалил вместе с помехой. Авторы обучают небольшой модуль восстановления, а при эксплуатации меняют только память типичных остатков предыдущих записей. Это отличает адаптацию состояния от дообучения нейросети на каждом новом фрагменте.
Метод. Из входного сигнала вычитают результат замороженного шумоподавителя. Семь частотно-временных карт описывают действительную и мнимую части обоих спектров, отношение амплитуд и разность фаз. Проектор предсказывает вещественную маску: разрешено вернуть не более 10% комплексного остатка в каждой ячейке. Память содержит до 64 прототипов логарифмической мощности; низкоранговый модуль уточняет маску по прошлой истории. Сначала обрабатывается текущая запись и лишь затем обновляются прототипы, поэтому она не влияет на собственный результат через память. Оба модуля предварительно обучаются с чистыми эталонами на EARS-WHAM.
Результаты. На DNS PESQ растёт с 3,00 до 3,11, COVL с 3,60 до 3,75, SI-SDR с 15,08 до 15,34 дБ. На EARS-D прирост PESQ гораздо меньше: 2,62 → 2,64. Дополнительные 37,09 тыс. параметров увеличивают RTF на RTX 4090 с 0,0340 до 0,0387: обработка остаётся быстрее длительности записи, но это не оценка задержки первого выходного отсчёта. Для пяти других шумоподавителей тоже показаны улучшения; CRM при этом обучается отдельно для каждого базового алгоритма.
Ограничения. Причинность относится к истории между записями, а не автоматически ко всему тракту внутри записи: признаки используют статистику текущего высказывания. Испытаны преимущественно искусственно смешанные помехи, DNS без реверберации и фиксированный порядок потока. Нет субъективного прослушивания и проверки произвольных перестановок длинной истории. Повторное использование модулей с другим шумоподавителем без обучения не продемонстрировано.
Фишка из статьи. Таблица 2 отделяет пользу памяти от гораздо более простого возврата остатка. На EARS-D локальное восстановление даже слегка ухудшает PESQ, и только память переводит результат выше исходного уровня.
| Вариант | DNS PESQ | EARS-D PESQ | Libri-MUSAN PESQ |
|---|---|---|---|
| CMGAN | 3,00 | 2,62 | 2,16 |
| Без памяти | 3,07 | 2,61 | 2,23 |
| Полная CRM | 3,11 | 2,64 | 2,27 |
Как это читать: памяти нельзя приписывать весь прирост 0,11 на DNS: её собственная прибавка составляет около 0,04. Для неё авторы приводят парный 95%-й интервал [0,03; 0,04], но он получен перестановкой оценок записей, а не повторным проигрыванием адаптации при другой последовательности. Возврат комплексного остатка учитывает фазовое согласование, однако это не новый адаптивный частотно-временной базис.
Источник. Оригинальное название: Continual Residual Memory for Gradient-Free Test-Time Adaptation in Speech Enhancement. arXiv:2611.01023; полный текст PDF.