выделение речи пространственный звук частотно-временной анализ
arXiv eess.AS

Моноуральное выделение речи из области с непрерывным радиусом и согласованием между радиусами

arXiv:2610.11507

Работа превращает расстояние до микрофона в непрерывный управляющий параметр: одна моноуральная модель извлекает суммарную речь всех говорящих внутри заданного радиуса. Это интересная альтернатива системам с фиксированным порогом или набором дискретных зон, особенно когда реальное расстояние заранее неизвестно.

Метод. Радиус кодируется скаляром и подаётся в частотно-временную сеть из шести TF-блоков. Обучение использует вложенность областей: если два соседних радиуса включают один и тот же набор источников, их выходы должны совпадать. Такая cross-radius consistency (CRC) стабилизирует модель между границами источников; вся сеть содержит около 0,66 млн обучаемых параметров.

Результаты. На смесях с измеренными импульсными характеристиками помещений модель достигает 29,25 дБ SI-SDR для полной области, улучшения SI-SDR на 4,40 дБ для частичной области и подавления 62,01 дБ для пустой области. Она превосходит DSS на 7,22 дБ SI-SDR и выполняет запрос за один проход, тогда как локальный QD-TSE требует суммировать несколько запросов.

Ограничения. Эксперименты в основном построены на двух говорящих и радиусах внутри обученного диапазона. При трёх говорящих и шуме 10 дБ SI-SDR падает до 24,98 дБ, а ошибка согласованности RCE растёт до 4,15%. Моноуральный сигнал также не позволяет различать источники на одинаковом расстоянии.

Фишка из статьи. Непрерывная координата сама по себе помогает, но основной скачок подавления пустой зоны даёт именно согласование соседних радиусов. Это показывает, что геометрическая структура задачи полезнее простого увеличения числа обучающих точек.

Кодирование радиусаCRCSI-SDR, дБПодавление, дБRCE, %
Дискретноенет24,6849,681,04
Дискретноеда28,7557,700,81
Непрерывноенет27,0451,130,85
Непрерывноеда29,2562,010,46

Как это читать: непрерывный радиус улучшает SI-SDR без CRC на 2,36 дБ, а добавление CRC к нему приносит ещё 2,21 дБ и более чем вдвое снижает RCE. При этом подавление пустой области возрастает почти на 11 дБ.

Оригинальная статья на arXiv