NECTAR: оценка мешающего диктора через геометрию центроидов для выделения целевой речи
NECTAR получает сведения о мешающем голосе без отдельной записи этого человека. Наблюдение авторов относится к усреднённым центроидам: центр двухголосной смеси примерно лежит посередине между центрами дикторов. Для отдельных реплик это почти не работает, поэтому сеть сначала переводит смесь и целевой образец в подходящее пространство, а уже затем выполняет вычитание.
Метод. Замороженный CAM++ извлекает покадровые признаки. Общий Centroid-Space Mapper со свёрткой, вниманием и статистическим объединением предсказывает центр диктора по образцу и сумму двух центров по смеси. Вычитание первого из второго даёт отрицательную подсказку, которую вместе с обычным целевым вектором получает BSRNN. Модуль обучается отдельно по центрам всех доступных обучающих реплик; в рабочем режиме нужны только одна смесь и один целевой образец. Центроиды не нормируются повторно, поскольку их масштаб существенен для геометрического соотношения.
Результаты. На Libri2Mix с обучением на train-clean-100 SI-SDRi достигает 16,18 дБ против 14,81 дБ у контроля только с целевым голосом. PESQ растёт с 2,79 до 2,89, доля примеров с SI-SDRi выше 1 дБ с 95,4 до 97,1%. На VCTK-2Mix показатель меняется с 12,90 до 14,67 дБ, а на шумном Libri2Mix с 11,38 до 12,02 дБ. Обучение отображения занимает около часа на B200, но это не оценка времени на обычном устройстве.
Ограничения. Основные опыты ограничены двумя дикторами, трёхсекундными фрагментами и искусственным смешиванием. Для трёх голосов проверена геометрия центроидов, но не полноценное выделение. Не доказана устойчивость к сильной реверберации и произвольному дисбалансу голосов. Извлекатель обучается с настоящим отрицательным образцом, а применяется с оценённым центром: остаётся разрыв условий. Точность выделения здесь пороговая акустическая метрика, не точность идентификации человека.
Фишка из статьи. Таблица 2 показывает, что полезна не сама формула, а пространство, в котором её применяют. Положительная подсказка во всех строках одинакова.
| Дополнительная подсказка | SI-SDRi, дБ | Доля успешного выделения, % |
|---|---|---|
| Нет | 14,81 | 95,4 |
| Обычный вектор смеси | 15,34 | 96,6 |
| 2 × вектор смеси − вектор цели | 2,36 | 70,6 |
| Оценённые центроиды NECTAR | 16,18 | 97,1 |
| Истинный центр мешающего диктора | 17,44 | 99,8 |
Как это читать: арифметика векторов отдельной реплики может разрушить полезную геометрию. Разница 2,36 против 16,18 дБ объясняет необходимость специального отображения; результат с истинным центром одновременно показывает оставшийся запас. Это локальное эмпирическое свойство проверенных кодировщиков, не универсальный закон линейного смешивания дикторских представлений.
Источник. Оригинальное название: NECTAR: Automatic Negative Clue Estimation via Centroid-Space Mapping for Target Speaker Extraction. arXiv:2610.32133; полный текст PDF.