Hybrid Real- and Complex-Valued Neural Network Architecture for Speech Enhancement

Обновленная версия статьи исследует разумный компромисс между действительными и комплексными сетями улучшения речи. Амплитуда исправляется действительной маской, а небольшая комплексная ветвь добавляет остаточную поправку к спектру; так модель учитывает фазу, не оплачивая полную комплексную арифметику во всех слоях.

Метод. Одноканальный сигнал переводится в STFT. Первая ветвь предсказывает маску модуля, вторая - комплексную добавку; в узком месте две области связываются функциями преобразования. Схема проверяется на сверточном автоэнкодере hCDAE и сверточной рекуррентной hCRN. Сравнения с полностью действительными и комплексными вариантами выровнены по числу параметров, поэтому разница в операциях отражает устройство арифметики, а не просто размер.

Результаты. При -5 дБ hCRN получает STOI 0,801, PESQ 1,862 и SI-SDR 7,762 дБ; действительная rCRN - 0,734/1,608/4,219, комплексная cCRN - 0,793/1,853/7,411. hCDAE также лидирует с 0,743/1,599/4,404. При 0 дБ hCRN достигает STOI 0,887, PESQ 2,314 и SI-SDR 11,977 дБ. При этом hCRN требует 5,51 млрд MAC против 6,88 у rCRN и 8,04 у cCRN.

Ограничения. Это контролируемое доказательство идеи на синтетических аддитивных смесях, не оценка на реальных комнатах и устройствах. Нет субъективного прослушивания, потоковой реализации и измерения задержки на аппаратуре. Авторы прямо отмечают, что эксперимент не полностью отделяет пользу выходной структуры от пользы связи двух ветвей; вклад отдельных компонентов требует дополнительной абляции.

Фишка из статьи. Гибрид одновременно выигрывает по качеству и числу операций, хотя число параметров у трех вариантов почти одинаково. Это показывает, что фазовая поправка не обязана означать полностью комплексную сеть.

Как это читать: hCRN снижает число MAC примерно на 19,9% относительно действительной и на 31,5% относительно комплексной сети, одновременно немного улучшая PESQ и SI-SDR. Это особенно интересно для фазочувствительного улучшения на ограниченном устройстве, хотя реальная задержка еще не измерена.