Выделение говорящего по относительным пространственным подсказкам: левее, ближе или дальше
Вместо записи голоса или точного азимута целевого человека можно указать его положение относительно других: например, левее или ближе. Авторы встраивают такие дискретные подсказки в U-Net и SpatialNet. Это меняет сам способ задания цели, но переносит часть сложности на корректность пространственного отношения и известное число одновременно говорящих.
Метод. Для двух голосов используются восемь категорий, для трёх — девять. Команда кодируется обучаемым вектором и вводится через FiLM либо в блоки внимания. Вход и выход содержат комплексные STFT-компоненты, а обучение оптимизирует SI-SDR относительно реверберирующего образа выбранного источника. Данные включают случаи одинакового направления с разной дальностью и одинаковой дальности с разными направлениями. Точная геометрия источников используется для разметки команд, но не подаётся сети числовыми координатами.
Результаты. В статических двухголосных испытаниях четыре варианта сети выбирают нужного говорящего в 98,4–100% случаев по сравнению SI-SDR к двум эталонам. Для SpatialNet с четырьмя микрофонами SI-SDR составляет примерно 14 дБ при хорошей угловой разнесённости. Диффузный фон из 20 говорящих обычно снижает качество не более чем на 0,9 дБ. Проверка реальности использует измеренные импульсные характеристики с RT60 360 мс; это не равнозначно испытанию настоящего свободного разговора.
Ограничения. Во всех обрабатываемых фрагментах заданное число людей одновременно активно; для числа говорящих и размера массива обучаются отдельные модели. Случаи с угловым разрывом не более 10° и разницей расстояний не более 0,5 м не покрыты. Источники находятся в передней полуплоскости линейного массива. Смена взаимного порядка людей и участки без перекрытия требуют внешнего управления. Поэтому «без точного направления» не означает «без предположений о сцене».
Фишка из статьи. На движущихся источниках дальнее внимание может мешать: отношение «левее» верно для двух людей в один момент, но не между точками их траекторий в разные моменты. В таблице VII авторы ограничивают временное окно, однако выбирают его отдельно по каждой траектории с эталонной оценкой.
| Два микрофона, движущиеся источники | Только угол: SI-SDR, дБ | Только дальность | Оба признака |
|---|---|---|---|
| U-Net RPC | 10,72 | 8,34 | 11,90 |
| U-Net RPC, оракульное окно | 11,63 | 10,01 | 12,96 |
| SpatialNet RPC | 6,83 | 3,60 | 8,91 |
| SpatialNet RPC, оракульное окно | 7,90 | 6,10 | 9,98 |
Как это читать: улучшение показывает потенциальную пользу ограничения контекста, но это верхняя ориентировочная оценка, а не готовый адаптивный выбор окна без эталона. Кроме того, SI-SDR и разборчивость не обязаны расти вместе: у SpatialNet в сценарии дальности STOI после такого выбора падает с 0,712 до 0,686. Оптимизировать один показатель недостаточно.
Источник. Оригинальное название: Spatially-Guided Speaker Extraction Based on Relative Position Cues. arXiv:2611.01757; полный текст PDF.