Лучеформирование Виртуальные микрофоны Flow Matching
arXiv eess.AS

Virtual-Flow: виртуальные микрофоны для улучшения лучеформирования без целевых записей в новых точках

ArXiv:2611.11130

Virtual-Flow синтезирует дополнительные микрофонные каналы, чтобы улучшить последующее лучеформирование. Модель можно обучать без истинных сигналов в виртуальных точках: заменой служат псевдоцели из наблюдаемых каналов. Особенно интересно, что более точное восстановление формы виртуального сигнала не обязательно даёт лучший итог после пространственной фильтрации.

Метод. Псевдоцель строится с помощью задержек целевого источника и суперпозиции реальных микрофонов. Генератор Flow Matching обусловлен доступной многоканальной записью; дополнительная инвариантная функция потерь согласует оценку с задачей улучшения речи. Reflow сокращает генерацию до одного вычисления сети. Отсутствуют целевые записи виртуальных микрофонов, но для обучения всё ещё нужны чистая целевая речь и соответствующая постановка смесей. Новые каналы не добавляют независимых наблюдений: это выученное преобразование исходных данных.

Результаты. В таблице 4 полууправляемый Virtual-Flow после лучеформирования получает SI-SDR 10,3±0,2 дБ, PESQ 2,79±0,02 и STOI 90,2±0,1%. Четырёхканальная SpatialNet-MCWF без такой надстройки имеет 5,7 дБ, 2,26 и 80,4%. Система с 16 физическими микрофонами достигает 12,1 дБ и STOI 92,8%, поэтому синтетические каналы не объявляются заменой любой большой решётки. Надстройка требует ещё 13,1 млн параметров и 7,8 GMAC/с, сверх базового тракта.

Ограничения. Псевдоцели опираются на модель задержек и могут хуже работать при движении или сложной реверберации. Одношаговый генератор не делает всю систему автоматически дешёвой или малозадержечной. Сопоставление качества виртуальных сигналов ниже относится к полностью управляемым версиям: для полууправляемой основной версии эти метрики в таблице не приведены.

Фишка из статьи. Парадокс таблицы 4: Spatial-Magnifier гораздо точнее воспроизводит виртуальную волну, однако Virtual-Flow лучше помогает конечному лучеформирователю. В обоих случаях сравнивается управляемое обучение с доступными целевыми виртуальными каналами.

МодельSI-SDR виртуального канала, дБSI-SDR после лучеформирования, дБPESQ после
Spatial-Magnifier6,29,82,61
Virtual-Flow, управляемый−1,310,12,74

Как это читать: ошибки фазы сильно наказываются временной SI-SDR, но спектральные признаки могут оставаться полезными для оценки пространственных ковариаций. Поэтому виртуальный микрофон стоит проверять в конечном тракте, а не только как самостоятельный восстановитель волны. Это наблюдение авторских моделей, а не разрешение произвольно искажать фазу.

Источник. Оригинальное название: Virtual-Flow: Virtual Microphone-based Speech Enhancement via Semi-supervised Flow Matching. arXiv:2611.11130; полный текст PDF.

Оригинальная статья на arXiv