Импульсное нейронное лучеформирование для многоканального улучшения речи на периферийных устройствах
Авторы переносят многоканальное улучшение речи в импульсную сеть из 37 тыс. параметров и честно показывают цену разреженных вычислений. Прямая подача непрерывных признаков даёт приемлемое качество при малой эффективной активности, а полностью импульсное частотное кодирование экономнее концептуально, но заметно теряет SI-SDR и требует много временных шагов.
Метод. Шесть микрофонов расположены полукругом радиусом 8 см; сцены WSJ0 моделируются в комнатах с T60 0,2–0,5 с. Полносвязная сеть с LIF-нейронами оценивает пространственный фильтр в STFT-представлении. Сравниваются два входа: прямая подача постоянного значения на нескольких шагах и стохастическое частотное кодирование Бернулли, при котором импульсными становятся все слои.
Результаты. Скрытый слой 256 даёт при прямом кодировании SI-SDR 4,03 дБ, PESQ 1,629 и STOI 0,826 против 5,07 дБ, 1,657 и 0,843 у обычной сети того же размера. Оценка эффективных MAC равна 0,058 GMAC/с, но фактическая первая плотная проекция требует 2,89 GMAC/с плюс 3,37 GSynOp/с. Частотное кодирование при 100 шагах достигает только 1,21 дБ SI-SDR и 10,18 GSynOp/с; даже 200 шагов дают 1,88 дБ. Более крупная прямая сеть с 512 нейронами не сошлась.
Ограничения. Все сцены синтетические и основаны на WSJ0; измерений на нейроморфном оборудовании, реальной мощности, задержки и RTF нет. MAC и синаптические операции нельзя напрямую складывать или сравнивать по энергии, а первая плотная проекция остаётся дорогой.
Фишка из статьи. Таблица сложности вскрывает важную инженерную оговорку: заявленная разреженность внутренних слоёв не делает весь тракт почти бесплатным.
| Модель | Параметры | SI-SDR, дБ | PESQ | Вычисления |
|---|---|---|---|---|
| FC-ANN | 37 тыс. | 5,07 | 1,657 | 0,59 GMAC/с |
| FC-SNN, прямая подача | 37 тыс. | 4,03 | 1,629 | 2,89 GMAC/с + 3,37 GSynOp/с |
| FC-SNN, частотная, 100 шагов | 37 тыс. | 1,21 | 1,425 | 10,18 GSynOp/с |
| FT-JNF | 310,5 тыс. | 7,83 | 2,019 | 4,95 GMAC/с |
Как это читать: прямая SNN близка к малой ANN по качеству и намного компактнее FT-JNF, но её преимущество по энергии ещё не доказано. Частотное кодирование требует стольких шагов, что высокая импульсная активность съедает предполагаемую экономию.
Источники. страница arXiv; PDF статьи. Оригинальное название: Spiking Neural Beamforming for Edge-Efficient Multi-Channel Speech Enhancement.