RDSE: направленное улучшение речи в реальном времени на обычном смартфоне с двумя микрофонами

RDSE объединяет однократную визуальную оценку направления, MVDR-лучеформирование и нейронное выделение речи в тракте для обычного двухмикрофонного смартфона. Главный инженерный вывод не в максимальной метрике, а в том, что дополнительная нейронная дереверберация перед лучеформирователем резко портит фазово-временную структуру, необходимую MVDR.

Метод. Направление цели задаётся по камере, ковариационные матрицы стабилизируются диагональной нагрузкой, затем работают частотный MVDR, Conv-TasNet и MetricGAN. U-Net-деревербератор можно включить перед MVDR. Потоковая часть выполняется на MATLAB Mobile, тяжёлые сети — через облачный тракт.

Результаты. Без дереверберации в безэховом случае система получает STOI 0,7754, ViSQOL 2,0053 и PESQ 2,5755; при реверберации — 0,5539, 1,8710 и 1,8185. На 20,09 с живой записи локальное ядро занимает 12,01 с (RTF 0,60), облачные сети — 8,86 с (RTF 0,44), а полный последовательный тракт — 20,87 с, то есть RTF около 1,04.

Ограничения. Полный тракт едва медленнее реального времени и зависит от облака. Основная оценка синтетическая, с мужским целевым голосом; сравнения с чужими работами сделаны на разных данных. Однократно заданное направление не учитывает движение говорящего.

Фишка из статьи. Предварительная дереверберация выглядит логичной, но снижает PESQ более чем вдвое и почти удваивает время.

Как это читать: улучшение спектральной величины отдельной сетью не гарантирует улучшения всего фазочувствительного тракта. Для лучеформирования сохранение межканальных фазовых отношений важнее локального подавления хвоста реверберации.

Источник: arXiv:2610.12476. Оригинальное название: RDSE: Real-Time Directional Speech Enhancement Framework for Dual-Mic Commodity Smartphones.