Virtual-Flow: виртуальные микрофоны для улучшения лучеформирования без целевых записей в новых точках
Virtual-Flow синтезирует дополнительные микрофонные каналы, чтобы улучшить последующее лучеформирование. Модель можно обучать без истинных сигналов в виртуальных точках: заменой служат псевдоцели из наблюдаемых каналов. Особенно интересно, что более точное восстановление формы виртуального сигнала не обязательно даёт лучший итог после пространственной фильтрации.
Метод. Псевдоцель строится с помощью задержек целевого источника и суперпозиции реальных микрофонов. Генератор Flow Matching обусловлен доступной многоканальной записью; дополнительная инвариантная функция потерь согласует оценку с задачей улучшения речи. Reflow сокращает генерацию до одного вычисления сети. Отсутствуют целевые записи виртуальных микрофонов, но для обучения всё ещё нужны чистая целевая речь и соответствующая постановка смесей. Новые каналы не добавляют независимых наблюдений: это выученное преобразование исходных данных.
Результаты. В таблице 4 полууправляемый Virtual-Flow после лучеформирования получает SI-SDR 10,3±0,2 дБ, PESQ 2,79±0,02 и STOI 90,2±0,1%. Четырёхканальная SpatialNet-MCWF без такой надстройки имеет 5,7 дБ, 2,26 и 80,4%. Система с 16 физическими микрофонами достигает 12,1 дБ и STOI 92,8%, поэтому синтетические каналы не объявляются заменой любой большой решётки. Надстройка требует ещё 13,1 млн параметров и 7,8 GMAC/с, сверх базового тракта.
Ограничения. Псевдоцели опираются на модель задержек и могут хуже работать при движении или сложной реверберации. Одношаговый генератор не делает всю систему автоматически дешёвой или малозадержечной. Сопоставление качества виртуальных сигналов ниже относится к полностью управляемым версиям: для полууправляемой основной версии эти метрики в таблице не приведены.
Фишка из статьи. Парадокс таблицы 4: Spatial-Magnifier гораздо точнее воспроизводит виртуальную волну, однако Virtual-Flow лучше помогает конечному лучеформирователю. В обоих случаях сравнивается управляемое обучение с доступными целевыми виртуальными каналами.
| Модель | SI-SDR виртуального канала, дБ | SI-SDR после лучеформирования, дБ | PESQ после |
|---|---|---|---|
| Spatial-Magnifier | 6,2 | 9,8 | 2,61 |
| Virtual-Flow, управляемый | −1,3 | 10,1 | 2,74 |
Как это читать: ошибки фазы сильно наказываются временной SI-SDR, но спектральные признаки могут оставаться полезными для оценки пространственных ковариаций. Поэтому виртуальный микрофон стоит проверять в конечном тракте, а не только как самостоятельный восстановитель волны. Это наблюдение авторских моделей, а не разрешение произвольно искажать фазу.
Источник. Оригинальное название: Virtual-Flow: Virtual Microphone-based Speech Enhancement via Semi-supervised Flow Matching. arXiv:2611.11130; полный текст PDF.