GAN-based Joint Dereverberation and Directional Filtering
Авторы объединяют подавление реверберации и формирование заданной направленности в одну нейросеть, которая восстанавливает сигнал виртуального направленного микрофона. Это содержательнее обычной цепочки WPE и пространственного фильтра: сеть учится совместно убирать поздние отражения и сохранять энергию из нужного направления, не передавая ошибки одного блока следующему.
Метод. NDDF получает многоканальную спектрограмму и целевую диаграмму направленности первого либо шестого порядка. Сравниваются дискриминативный FT-JNF, U-Net для комплексной маски и два состязательных U-Net, предсказывающих маску или сигнал. Обучение проходит в случайных помещениях размером 6–10 × 4–8 × 3–5 м с RT60 от 0,2 до 0,5 с; проверка расширена до 0,8 с и использует речь EARS, не встречавшуюся при обучении.
Результаты. На самом тяжёлом режиме, шестой порядок и RT60 = 0,8 с, каскад WPE+NDF получает PESQ 1,98 и fwSDR 12,30 дБ. Состязательная сеть с маской поднимает их до 2,72 и 19,07 дБ, а C50 — с 12,38 до 25,83 дБ. Для первого порядка при том же RT60 дискриминативный FT-JNF достигает PESQ 3,07 и fwSDR 25,34 дБ. Авторы также предупреждают: высокий SRMR иногда возникает из-за чрезмерного подавления, поэтому одной этой метрике доверять нельзя.
Ограничения. Импульсные характеристики помещений полностью моделируются; реальных комнат, массивов и субъективного прослушивания нет. Не приведены задержка, вычислительная сложность и проверка причинного режима. Оценщик фактической направленности тоже обучен на моделируемых данных, поэтому его выводы могут разделять смещение с основной системой.
Фишка из статьи. При длинной реверберации преимущество совместного обучения особенно велико для узкой диаграммы шестого порядка. Состязательная цель сильнее улучшает раннюю энергию C50, тогда как дискриминативный FT-JNF лучше по SRMR; это показывает, что «более сухой» сигнал и более естественная реконструкция — не одна и та же цель.
| Метод, шестой порядок | PESQ | fwSDR, дБ | C50, дБ | SRMR |
|---|---|---|---|---|
| WPE + NDF | 1,98 | 12,30 | 12,38 | 4,02 |
| Дискриминативный FT-JNF | 2,64 | 16,70 | 23,42 | 5,73 |
| GAN, комплексная маска | 2,72 | 19,07 | 25,83 | 5,42 |
| GAN, прямой сигнал | 2,69 | 18,92 | 27,48 | 5,49 |
Как это читать: таблица относится к RT60 = 0,8 с, то есть за пределами обучающего диапазона. GAN-варианты выигрывают по PESQ, fwSDR и C50, но не по SRMR; расхождение метрик подтверждает необходимость прослушивания, которого в работе пока нет.