Multirate State Space Models for End-to-End Processing of Pulse Density Modulated Speech Signals

Статья обрабатывает однобитовый поток PDM с цифрового MEMS-микрофона напрямую, минуя обычные низкочастотный фильтр и перевод в PCM. Непрерывная модель пространства состояний обучается только на PCM 16 кГц, но затем принимает PDM от 128 кГц до 2 МГц без дообучения и рано снижает частоту внутренних состояний.

Метод. Свёрточное ядро задаётся непрерывной системой, поэтому его дискретизация меняется вместе с частотой входа. Авторы сравнивают базисы LegT и FouT, размеры состояния от 32 до 512 и временной охват от 2 до 32 мс. После интегрирования высокочастотного однобитового потока коэффициенты состояния можно прореживать без отдельного противоалиасного фильтра. Метод проверяется на командах Google Speech Commands и улучшении VoiceBank+DEMAND.

Результаты. Лучший LegT достигает 93,72% в распознавании команд, лучший FouT — 93,44%; крупнейшая модель содержит 112 тысяч параметров против 307 тысяч у прежнего решения. Практический вариант H=32 с окном 2 мс получает 92,66% при PDM 512 кГц и 93,13% при 2 МГц против PCM-опоры 93,53%. Для улучшения речи при 2 МГц он даёт PESQ 3,08 и STOI 0,93 при алгоритмической задержке 4,5 мс; PCM LiSenNet имеет 3,07 и 0,94.

Ограничения. PDM моделируется сигма-дельта преобразованием, а не записывается с реального микрофона. Нет измерений на микроконтроллере, полной мощности тракта, памяти и аппаратной задержки. Проверены одна английская задача команд и один стандартный набор улучшения речи; устойчивость к реальному тактовому дрожанию и нелинейности MEMS не изучена.

Фишка из статьи. Один базис не лучший для обеих задач. Широкие полиномы LegT дают максимум классификации, но в восстановлении сигнала сильнее подхватывают вынесенный вверх шум квантования PDM и заносят его обратно в звуковую полосу; локализованный по частоте FouT поэтому устойчиво лучше для улучшения речи.

Как это читать: прямой PDM-тракт уже почти совпадает с PCM при 2 МГц, но заметнее теряет качество на 512 кГц. Таблица показывает не только результат модели, но и инженерный обмен: раннее прореживание уменьшает последующие вычисления, однако реальная экономия энергии ещё должна быть измерена на устройстве.