AcousticAgent: моделирование многокомнатной акустики по плану помещения для распределённой обработки речи

Микрофоны в разных комнатах слышат не просто разные отношения сигнал/шум: звук распространяется через двери и коридоры, а не по прямой сквозь стены. AcousticAgent превращает план квартиры в акустическую сцену и позволяет исследовать распределённую обработку речи с учётом этой топологии. Это прежде всего платформа для постановки воспроизводимых экспериментов, а не готовая система для умного дома.

Метод. Из плана строятся комнаты, проходы, мебель, материалы и позиции источников и приёмников. Гибридный акустический расчёт сочетает геометрическое моделирование с параметрическим поздним затуханием; набор FP-RIR охватывает 15 376 жилых планировок. В варианте GCC-FP ожидаемые межмикрофонные задержки определяются кратчайшим допустимым путём через проходы, тогда как обычный GCC использует евклидово расстояние. Для улучшения речи выбираются четыре канала из конфигурации с одним микрофоном на комнату; другой режим устанавливает массив в каждой комнате и выбирает двенадцать каналов из трёх массивов.

Результаты. На 90 тестовых планировках с 4–12 комнатами, при 2160 положениях источника на условие, точность определения комнаты при 20 дБ составляет 92,5% у GCC-FP против 81,9% у GCC-Euclidean. При 5 дБ разрыв сохраняется: 84,0% против 76,5%. В задаче улучшения речи четыре канала, выбранные с помощью GCC-FP, дают PESQ 3,175 и STOI 0,968; распределённые массивы с выбором 12 каналов достигают 3,619 и 0,988. На 1000 фразах LibriSpeech WER Whisper-small уменьшается с 34,84% для массива в гостиной до 9,27% при выборе распределённых микрофонов и до 7,63% при использовании распределённых массивов.

Ограничения. Это моделируемые сцены с известным планом и синхронизированными микрофонами. Многоканальный фильтр Винера получает идеальные ковариации целевой речи и помех из раздельных компонентов симуляции: результаты задают целевую верхнюю границу, но не качество слепого алгоритма в реальной квартире. PESQ и STOI сравниваются с реверберирующей целевой речью в опорном канале, поэтому их нельзя трактовать как оценку удаления реверберации до сухой записи.

Фишка из статьи. Размещение каналов полезно отделить от их количества. В таблицах 2–3 можно сопоставить фиксированный массив и выбор распределённых микрофонов по геометрии при одинаковых четырёх рабочих каналах.

Как это читать: значительная часть выигрыша возникает уже при выборе подходящих распределённых микрофонов, без увеличения числа каналов, подаваемых на улучшение речи. При этом инфраструктура всё равно включает микрофоны по всей квартире, а идеальные ковариации остаются общим условием сравнения. Инженерный вывод здесь о ценности топологии и размещения, а не об обещанном WER при установке четырёх произвольных микрофонов.

Источник. Оригинальное название: AcousticAgent: A Floorplan-Centric Simulation Platform for Distributed Multi-Room Speech Processing. arXiv:2610.22936; полный текст PDF.