A Novel Binaural Cue Preservation Loss for DNN-Based Binaural Speech Enhancement

Для слухового аппарата недостаточно подавить шум: раздельные маски левого и правого каналов могут разрушить межушные различия уровня и фазы, по которым человек локализует источник. Авторы предлагают две функции потерь, одна измеряет искажение межканального передаточного отношения после маскирования, а другая объединяет уровень и фазу в комплексное представление. Главный выигрыш - сохранение пространственных признаков без обычного заметного штрафа по подавлению.

Метод. Сеть с примерно 0,8 млн параметров оценивает комплексные частотно-временные маски обоих ушей. Потеря BRE сначала применяет эти маски к чистой речи и проверяет, можно ли по оценённой относительной передаточной функции восстановить один канал из другого; так она отделяет искажение маской от остаточного шума. Потеря BC кодирует межушную фазу на единичной окружности как exp(j IPD) и связывает её с модулем ILD, избегая разрыва при переходе фазы через -pi/pi. Обе добавляются к многомасштабному спектральному критерию подавления шума.

Результаты. Обе новые потери на всех направлениях остаются близки к модели, обученной только на подавление, и превосходят стандартное сочетание ILD + 10 IPD по SI-SDR и MBSTOI. BC даёт наименьшую ошибку ILD, а BRE - наименьшее искажение межканального восстановления; это не одна и та же цель. По графику 2 для источника справа под +90 градусов BC сохраняет SI-SDR около 10,8 дБ и снижает ошибку ILD примерно до 3,2 дБ против 4,1 дБ у стандартной потери. BRE при том же направлении снижает собственную ошибку примерно до 0,004 против 0,014.

Ограничения. Все записи синтетически пространственно окрашены KEMAR и проверены только в безэховой постановке; реверберация прямо оставлена на будущее. Нет прослушивания, измерения локализации, реальных слуховых аппаратов и проверки на людях с нарушением слуха. Численные итоги приведены в виде кривых без сводной таблицы и доверительных интервалов. Один набор HRIR и горизонтальная плоскость не покрывают индивидуальную анатомию и вертикальную локализацию.

Фишка из статьи. Две новые потери оптимизируют разные части физической задачи. Таблица ниже считывает характерные значения с графика 2 при самом трудном боковом положении +90 градусов; числа приблизительные, но хорошо показывают компромисс.

Как это читать: BRE почти не вмешивается в подавление и лучше всего удерживает относительную передаточную функцию, но не гарантирует хороший ILD. BC немного уступает по BRE, зато лучше сохраняет уровень и всё равно оставляет SI-SDR выше стандартного пространственного критерия. Для реального устройства выбор должен опираться ещё и на локализационное прослушивание.