HybridSB-MoE: Dual-Domain Schrödinger Bridges with Scene-Adaptive Expert Routing for Speech Enhancement

HybridSB-MoE объединяет два представления, слабости которых обычно дополняют друг друга: спектральная ветвь хорошо подавляет структурированный шум, а обработка формы волны лучше сохраняет фазовую непрерывность. Интерес статьи в том, что выбор между ними делается по двум разным видам неопределённости, а не фиксированным усреднением.

Метод. Спектральная ветвь принимает логарифм модуля STFT и выбирает два из пяти разнородных экспертов, соответствующих семействам бытового, природного, офисного, общественного и транспортного шума. Отдельные головы оценивают ограниченную маску амплитуды и поправку фазы. Параллельная ветвь переносит шумный сигнал к чистому во временной области через мост Шрёдингера за восемь шагов. Разброс экспертов служит оценкой модельной неопределённости, ошибка траектории моста - шумовой неопределённости; асимметричный узел по ним взвешивает две восстановленные формы волны.

Результаты. На VoiceBank+DEMAND модель получает PESQ 3,88, STOI 0,96, CBAK 3,85 и COVL 4,82. Для сравнения, ROSE-CD даёт PESQ 3,85 и COVL 4,30, а лучший мост Шрёдингера SB-SE - 3,70 и 4,48. При восьми шагах RTF равен 0,28, заявленная задержка - 35 мс. Удаление временной ветви снижает PESQ на 0,63, замена смеси экспертов одним экспертом - на 0,43, а равное усреднение ветвей - на 0,17.

Ограничения. Проверка ограничена одноканальным VoiceBank+DEMAND, где тест содержит 824 записи всего двух говорящих и синтетические смеси; нет DNS, CHiME, WHAMR!, реальных комнат и субъективного прослушивания. Фазовая связность не измеряется отдельным показателем, поэтому её вклад выводится из абляции временной ветви, но не наблюдается напрямую. Теоретическая граница использует неоценённые константы и предполагаемую, а не принудительно обеспеченную липшицевость сети.

Фишка из статьи. Третий активный эксперт почти ничего не добавляет к качеству, но заметно увеличивает время работы. Именно эта абляция, а не максимальный PESQ, обосновывает разреженный выбор двух экспертов.

Как это читать: переход от одного к двум экспертам даёт заметную дополнительную специализацию, а третий уже почти бесполезен. Выбранная точка остаётся быстрее реального времени, но перенос этого соотношения на другие устройства и реальные шумы ещё не показан.