SPATEX: выделение целевой речи с сохранением пространственной картины для разных микрофонных массивов
SPATEX возвращает не один очищенный канал, а сигнал целевого говорящего на каждом микрофоне. Это нужно, когда после выделения голоса важно сохранить направление и пространственное звучание. Одна модель работает с разным числом микрофонов и их расположением, используя координаты и заданный азимут цели.
Метод. Общие кодировщик и декодер обрабатывают комплексные спектры каждого канала. Обмен через transform-average-concatenate учитывает геометрию и маску реально присутствующих микрофонов. Временная карта внимания общая, но значения остаются раздельными: сеть согласует речевое содержание, не усредняя пространственные различия в один звук. Помимо восстановления сигнала оптимизируются межканальная разность фаз IPD и комплексная когерентность. Предсказывается реверберирующий образ источника, а не сухой голос без отражений.
Результаты. При обучении на 2–8 микрофонах система переносится на 9–10. На неизвестных геометриях с 9–10 каналами SI-SNRi достигает 15,98 дБ, но на неизвестных геометриях с 2–8 каналами FlexIO-DOA сильнее: 14,57 против 13,82 дБ. На фиксированном четырёхканальном тесте переменно-массивная SPATEX даёт SI-SNRi 12,90 дБ, ошибку IPD 0,614 рад и задержки 5 мкс. Эти малые средние ошибки оцениваются относительно целевого микрофонного образа, а не реальной физической точности определения положения.
Ограничения. Тесты синтетические, речь 8 кГц, три говорящих с разносом не менее 15°, без дополнительного фонового шума. Возмущённые координаты одновременно используются для симуляции и входного условия: это смена геометрии, не ошибка её измерения. Работа не устанавливает поведение при неизвестной калибровке, движении микрофонов и реальном несовпадении направленности. Вычислительная задержка не приведена, поэтому перенос в реальное время остаётся отдельной задачей.
Фишка из статьи. Абляция таблицы 1 показывает, почему одной хорошей оценки SNR мало. Ниже — известная геометрия, 2–8 микрофонов, во всех строках общая временная карта внимания.
| Потери обучения | SI-SNRi, дБ | Ошибка IPD, рад | Дрейф направления, ° | Pres@5, % |
|---|---|---|---|---|
| Только PCM | 11,03 | 0,801 | 9,807 | 57,0 |
| PCM + IPD | 13,79 | 0,636 | 3,863 | 84,2 |
| PCM + когерентность | 13,13 | 0,679 | 2,965 | 87,4 |
| Все три | 14,23 | 0,615 | 2,871 | 90,4 |
Как это читать: фазовая ошибка и пространственная устойчивость связаны, но не взаимозаменяемы. Добавление когерентности даёт лучшее направление, чем одна IPD, хотя сама IPD-ошибка выше. Pres@5 — доля смесей, где оценённое по выходу направление отклоняется от целевого не более чем на 5°. Явная пространственная функция потерь здесь защищает информацию, которую одноканальный показатель качества не контролирует.
Источник. Оригинальное название: SPATEX: Array-Flexible Multichannel-to-Multichannel Target Speech Extraction using Direction Clue. arXiv:2611.03119; полный текст PDF.