Low-Power End-to-End Cochlear Implant Speech Denoising with Spiking Neural Networks

Для кохлеарного импланта важна не только разборчивость после шумоподавления, но и энергия постоянно работающего процессора. Spiking Deep ACE объединяет улучшение речи и кодирование электродограммы в импульсной сети: по объективному качеству она почти совпадает с обычной Deep ACE, а расчётная энергия синаптических операций ниже в 6,6 раза.

Метод. Свёрточный кодировщик, разделитель и декодер Deep ACE заменены блоками с нейронами ParaLIF; число параметров удерживается не выше исходной модели. Обучение использует около 10 часов речи 28 дикторов с шумами при 0–15 дБ, проверка — отдельные статический ICRA и шестиголосый ICRA babble при −5...10 дБ. Качество измеряется улучшением SNR в электродограмме и VSTOI после вокодера, энергия — числом MAC, сложений и обновлений состояния в 45-нм КМОП.

Результаты. В среднем по двум шумам Spiking Deep ACE получает VSTOI 56% и SNRi 6,0 дБ против 57% и 6,1 дБ у Deep ACE. Во всех отдельных условиях отставание VSTOI остаётся в пределах двух пунктов, SNRi — 0,5 дБ; на низких отношениях сигнал/шум в статическом шуме импульсная сеть даже лучше. Параметров меньше: 437 тысяч против 552 тысяч.

Ограничения. Энергия не измерена на микросхеме и не включает обращения к памяти, которые обычно доминируют; преимущество разреженности здесь лишь предполагает дополнительную экономию. Нет прослушивания носителями кохлеарных имплантов, задержки, памяти и производительности реального устройства. Проверены синтетические ICRA-шумы и вокодерная оценка, а не повседневные акустические сцены.

Фишка из статьи. Экономия не получена ценой резкого уменьшения сети: импульсная версия имеет больше нейронов в отдельных выходах, но реже выполняет синаптические операции. К концу обучения средняя частота стабилизируется примерно около 225–235 импульсов/с при внутреннем шаге 1 кГц.

Как это читать: разница качества мала относительно 6,6-кратной разницы расчётной энергии, поэтому работа задаёт убедительную цель для аппаратной реализации. Но число 372 мкДж/с нельзя принимать за энергопотребление готового импланта, пока не учтены память и обмен данными.