Выделение целевого диктора с учётом геометрии массива и законов распространения звука
Работа заменяет абстрактное кодирование координат микрофонов физически осмысленными признаками для выделения говорящего в заданном направлении. Сеть получает либо направляющий вектор массива, либо пространственную маску GCC-PHAT. Такой выбор помогает переносу между геометриями, но одновременно делает зависимость от ошибки направления более явной.
Метод. Основа GCSSF объединяет частотный и временной LSTM; отдельный геометрический кодировщик управляет признаками через FiLM. Направляющий вектор вычисляется только по координатам и целевому азимуту. Альтернативная маска сначала компенсирует ожидаемые задержки, затем усредняет межмикрофонные фазовые корреляции. Все модели обучаются на случайных пятиэлементных массивах и проверяются также на круговом массиве диаметром 10 см в синтетических помещениях с RT60 0,2–0,5 с.
Результаты. Для случайного массива GCSSF-TSV даёт SI-SDR 9,43 дБ и PESQ 2,27 против 7,77 дБ и 1,96 у позиционного кодирования MPE. На круговом массиве получено 9,87 дБ и 2,33 против 7,79 дБ и 1,95. Метрики вычисляются относительно реверберационного компонента целевого диктора на опорном микрофоне, а не относительно безэховой речи.
Ограничения. Опыт ограничен пятью микрофонами, горизонтальной геометрией, двумя-шестью источниками и минимальным угловым разделением 20°. В обучении добавлены небольшие ошибки направления и координат, но реальные движения, измеренные массивы и сложная акустика отдельно не проверены. Преимущество сохраняется до ошибок направления порядка 20°; при больших ошибках физическая привязка может активно подавлять нужного говорящего.
Фишка из статьи. Сигнал-зависимая маска не оказывается лучшим условием, хотя использует больше информации. Таблица 1 показывает сравнение на случайных массивах.
| Геометрическое условие | SI-SDR, дБ | PESQ | ESTOI |
|---|---|---|---|
| Позиционные признаки MPE | 7,77 | 1,96 | 0,69 |
| Направляющий вектор TSV | 9,43 | 2,27 | 0,75 |
| Маска GCC-PHAT | 8,45 | 2,10 | 0,72 |
Как это читать: идеализированная компенсация прямого пути может ошибаться при реверберации, а усреднение маски теряет часть межмикрофонной структуры. Это предложенное авторами объяснение, не изолированное доказательство каждой причины. Практический вывод — физический признак полезен как условие сети, но более сложное наблюдаемое условие следует проверять на устойчивость, а не считать автоматически более информативным.
Источник. Оригинальное название: Geometry-Conditioned Target Speaker Extraction based on spatial features incorporating acoustic propagation principles. arXiv:2610.29778; полный текст PDF.