Выделение речи из угловой области с учётом геометрии микрофонного массива

Система выделяет все голоса внутри заданного сектора, не требуя точного направления каждого человека. Её вход включает координаты микрофонов, поэтому одну сеть можно применять к массивам разного размера. Работа интересна не только средним качеством, но и проверкой трудного случая: умеет ли сеть отличить источник прямо внутри границы от источника сразу снаружи.

Метод. Каждый канал представлен действительной, мнимой и логарифмической амплитудной частью STFT. Общий кодировщик, геометрические векторы и межмикрофонное внимание формируют пространственные признаки; сеть извлечения обусловлена границами сектора. Дополнительная обучающая ветвь восстанавливает сигналы условного тетраэдрического массива в центре входного. Она заставляет сохранять пространственную информацию и удаляется при эксплуатации. Обучение сначала использует один голос и точное направление, затем 4, 8 или 12 микрофонов и 0–2 целевых говорящих.

Результаты. На динамических четырёхмикрофонных геометриях с одним целевым голосом SI-SDRi составляет 9,79 дБ против 4,68 дБ у DPARNet-RSE4. Вклад дополнительного восстановления — около 1,6 дБ. На реальных тетраэдрических записях новая сеть даёт 9,15 дБ против 8,40 дБ у специализированной DSENet. Но на реальном 12-микрофонном NAO специализированная сеть лучше: 9,57 против 9,08 дБ. Следовательно, улучшение переноса не одинаково для всех массивов.

Ограничения. Главное обучение синтетическое; реальная проверка ограничена двумя конфигурациями. Выделяется реверберирующий сигнал первого микрофона, а несколько целевых голосов возвращаются суммой, без разделения между собой. Сектор задаётся по азимуту, не как полноценная трёхмерная область. Общая переносимость геометрии не гарантирует резкой пространственной границы: для компактного тетраэдра это выявляется отдельным отрицательным результатом.

Фишка из статьи. Авторы ставят проверочный голос на 2° внутри или снаружи границы. По коэффициенту его присутствия в выходе оценивают сбалансированную точность удержания и подавления. Для тетраэдрического массива таблица ниже показывает конфликт универсальности и точной избирательности.

Как это читать: значение 0,5 означает отсутствие полезного различения двух классов при этой проверке, несмотря на хорошую среднюю SI-SDRi. Увеличение апертуры массива помогает, но меняет физические условия задачи. Для пространственного «окна приёма» нужно тестировать не только среднее качество голоса, но и утечку сразу за заданной границей.

Источник. Оригинальное название: Microphone Geometry Aware Regional Target Speaker Extraction. arXiv:2611.00894; полный текст PDF.