U-PAST: A Phase-Aware Audio Spectrogram Transformer-U-Net for Single-Channel Speech Enhancement

U-PAST улучшает одноканальную речь непосредственно в комплексной STFT, то есть оценивает не только амплитуду, но и фазу. Интерес работы в компактном сочетании преобразователя для дальних частотно-временных зависимостей с декодером U-Net и в честном сравнении числа операций с фактическим временем на GPU.

Метод. Комплексная спектрограмма разбивается на токены, проходит от 1 до 12 слоёв самовнимания, а симметричный декодер восстанавливает комплексный выход через пропуски U-Net. Четыре варианта содержат 1,17–2,40 млн параметров и обучаются на нереверберирующей части DNS Challenge. Проверка включает согласованные данные, реверберацию без переобучения, VoiceBank-DEMAND и LibriMix.

Результаты. В согласованных условиях U-PAST-H получает PESQ-WB 3,408 и SI-SDR 15,69 дБ; TF-GridNet лучше по SI-SDR, 18,13 дБ, но требует 85,58 против 4,71 GMAC. При незнакомой реверберации U-PAST-H показывает лучший SI-SDR 9,76 дБ, тогда как TF-GridNet падает до 7,45 дБ, а необработанная смесь имеет 9,03 дБ. При этом STOI необработанной речи остаётся выше, 0,866 против 0,831 у U-PAST-H: улучшение формы сигнала не означает сохранения каждой меры разборчивости.

Ограничения. Самовнимание использует будущий контекст, потоковый режим и задержка не исследованы. Время измерено только на A100, а субъективного прослушивания нет. Обучение ограничено нереверберирующим DNS, поэтому устойчивость показана на нескольких корпусах, но не на реальной многомикрофонной или мобильной системе.

Фишка из статьи. Сокращение арифметики не превращается в пропорциональное ускорение: обычные свёртки лучше загружают GPU.

Как это читать: RTF ниже единицы означает обработку быстрее реального времени. U-PAST-H в 18 раз экономнее TF-GridNet по операциям и гораздо быстрее него, но CUNet-B и CleanUNet обгоняют его по стендовому времени, хотя считают заметно больше.