Улучшение речи Ambisonics Пространственный звук
arXiv eess.AS

BAmbiDrop: бинауральное улучшение речи с общей маской для разных микрофонных решёток

ArXiv:2611.10561

Если независимо очищать микрофоны перед бинауральным воспроизведением, можно улучшить подавление шума и одновременно испортить пространственный образ. BAmbiDrop переносит ранее обученную AmbiDrop на разные решётки без дополнительного обучения и объединяет оценки в одну комплексную маску. Главная проверяемая идея: межканальные отношения следует сохранять ещё до пространственного рендеринга.

Метод. Начало координат Ambisonics-представления последовательно совмещается с каждым микрофоном. Замороженная сеть из двух BLSTM по 64 элемента оценивает маску для каждого такого представления; комплексное усреднение даёт общую маску для исходных каналов. После этого фиксированный BSM формирует сигналы для двух ушей. В качестве цели используется реверберирующая речь, а не только прямой звук, чтобы не потерять ощущение расстояния. Сеть содержит 142 594 параметра, но применяется несколько раз.

Результаты. Испытаны 21 семимикрофонная конфигурация и по 100 смоделированных сцен с целевым голосом и пятью помехами. Fusion достигает PESQ 1,62 и STOI 0,785 против 1,54 и 0,756 у центральной маски. SI-SDR относительно бинауральной цели равен −0,30 дБ против −0,87 дБ. Абсолютные величины ограничены также ошибкой рендеринга: даже BSM по чистой целевой речи получает только 2,25 дБ в этой постановке.

Ограничения. Основные сцены синтетические и статические; движение и цель вне центрального направления оставлены на будущее. Отсутствие дообучения не означает бесплатного выполнения: для семи микрофонов нужны семь проходов сети. BLSTM использует двунаправленный контекст, поэтому работу нельзя считать доказанным каузальным решением реального времени; задержка и RTF не приведены.

Фишка из статьи. Таблица 1 отделяет качество речи от сохранения пространственных признаков. Независимая обработка Per-Mic особенно ухудшает SI-SDR относительно прямого бинаурального звука, хотя её PESQ почти не хуже центрального варианта.

МаскаPESQSTOISI-SDR-Dir, дБ
Центральная1,540,7560,13
Отдельная на микрофон1,570,753−3,23
Общая Fusion1,620,7850,69

Как это читать: сходный PESQ ещё не означает сходную пространственную картину. Общая маска сохраняет относительные фазы и уровни лучше независимых масок; при этом Per-Mic несколько лучше по ошибке C50. Поэтому полезный вывод относится к компромиссу между разными характеристиками, а не к безусловному превосходству по каждой метрике.

Источник. Оригинальное название: BAmbiDrop: Array-Agnostic Speech Enhancement with Zero-Shot binaural Reproduction using Multi-center Ambisonics Encoding. arXiv:2611.10561; полный текст PDF.

Оригинальная статья на arXiv