BAmbiDrop: бинауральное улучшение речи с общей маской для разных микрофонных решёток
Если независимо очищать микрофоны перед бинауральным воспроизведением, можно улучшить подавление шума и одновременно испортить пространственный образ. BAmbiDrop переносит ранее обученную AmbiDrop на разные решётки без дополнительного обучения и объединяет оценки в одну комплексную маску. Главная проверяемая идея: межканальные отношения следует сохранять ещё до пространственного рендеринга.
Метод. Начало координат Ambisonics-представления последовательно совмещается с каждым микрофоном. Замороженная сеть из двух BLSTM по 64 элемента оценивает маску для каждого такого представления; комплексное усреднение даёт общую маску для исходных каналов. После этого фиксированный BSM формирует сигналы для двух ушей. В качестве цели используется реверберирующая речь, а не только прямой звук, чтобы не потерять ощущение расстояния. Сеть содержит 142 594 параметра, но применяется несколько раз.
Результаты. Испытаны 21 семимикрофонная конфигурация и по 100 смоделированных сцен с целевым голосом и пятью помехами. Fusion достигает PESQ 1,62 и STOI 0,785 против 1,54 и 0,756 у центральной маски. SI-SDR относительно бинауральной цели равен −0,30 дБ против −0,87 дБ. Абсолютные величины ограничены также ошибкой рендеринга: даже BSM по чистой целевой речи получает только 2,25 дБ в этой постановке.
Ограничения. Основные сцены синтетические и статические; движение и цель вне центрального направления оставлены на будущее. Отсутствие дообучения не означает бесплатного выполнения: для семи микрофонов нужны семь проходов сети. BLSTM использует двунаправленный контекст, поэтому работу нельзя считать доказанным каузальным решением реального времени; задержка и RTF не приведены.
Фишка из статьи. Таблица 1 отделяет качество речи от сохранения пространственных признаков. Независимая обработка Per-Mic особенно ухудшает SI-SDR относительно прямого бинаурального звука, хотя её PESQ почти не хуже центрального варианта.
| Маска | PESQ | STOI | SI-SDR-Dir, дБ |
|---|---|---|---|
| Центральная | 1,54 | 0,756 | 0,13 |
| Отдельная на микрофон | 1,57 | 0,753 | −3,23 |
| Общая Fusion | 1,62 | 0,785 | 0,69 |
Как это читать: сходный PESQ ещё не означает сходную пространственную картину. Общая маска сохраняет относительные фазы и уровни лучше независимых масок; при этом Per-Mic несколько лучше по ошибке C50. Поэтому полезный вывод относится к компромиссу между разными характеристиками, а не к безусловному превосходству по каждой метрике.
Источник. Оригинальное название: BAmbiDrop: Array-Agnostic Speech Enhancement with Zero-Shot binaural Reproduction using Multi-center Ambisonics Encoding. arXiv:2611.10561; полный текст PDF.