SpikeAid: потоковый слуховой аппарат на импульсной сети с совместным подавлением шума и компрессией
Подавитель шума может удалить тихую часть речи, которую следующая ступень слухового аппарата должна была усилить. SpikeAid обучает шумоподавление и компрессию динамического диапазона совместно, чтобы первая ступень учитывала конечную слуховую задачу. Импульсные нейроны с задержками и резонансом дают сети несколько временных масштабов без постоянно активных плотных вычислений.
Метод. NR-Net строит взаимодополняющие представления речи и шума, а WDRC-Net оценивает усиление соответствующих ветвей. Нейрон DRN объединяет причинные задержанные входы и резонансную динамику; итоговая сеть содержит 994 тысячи параметров. Обучение использует смеси LibriSpeech и шумов DNS, частоту 16 кГц и сегменты 3,072 с. Валидация и тест содержат по 120 смесей при -6, 0, 6 и 12 дБ. Для слуховых метрик моделируется плоская потеря слуха 40 дБ HL; выход не перенормируется после обработки.
Результаты. Совместное обучение даёт PESQ 2,214 и STOI 0,8412 против 2,040 и 0,8278 у поэтапно обученной той же архитектуры. HASPI растёт с 0,4185 до 0,4365. Однако HASQI 0,1812 чуть ниже 0,1819 у NR-Net с фиксированной компрессией: улучшение не одинаково по всем критериям. При замене нейронов в независимой архитектуре Spiking-FullSubNet показатель SI-SNR на N-DNS повышается с 15,20 до 15,73 дБ, PESQ с 3,03 до 3,07. Это отдельная задача шумоподавления, не показатели слухового аппарата из первой таблицы.
Ограничения. Нет испытания со слушателями с нарушением слуха и разнообразными индивидуальными аудиограммами. PESQ/STOI считаются относительно предписанного выхода шумоподавления и компрессии, а не произвольной сухой речи. Короткий искусственно смешанный тест не заменяет эксплуатацию в меняющемся акустическом окружении. Причинность сети также не означает, что изготовлен миниатюрный аппарат с подходящим питанием.
Фишка из статьи. В статье одновременно фигурируют микроджоули и ватты, но это разные уровни оценки. Их полезно развести до выводов об автономности устройства.
| Величина | Значение | Что действительно проверяется |
|---|---|---|
| Оценка энергии по операциям | 0,88 мкДж | Расчётный показатель, не расход готового аппарата |
| Мощность реализации FPGA | 2,81 Вт | Платформа AXU5EV, 250 МГц |
| Эффективность относительно CPU | 101,9 раза | Однопоточная покадровая реализация |
| Эффективность относительно GPU | 865,6 раза | Сравнение с RTX 3090 |
Как это читать: специализированное вычисление значительно эффективнее серверного исполнения той же сети, но 2,81 Вт всё ещё не бюджет носимого слухового аппарата. Прокси энергии по операциям нельзя подставлять в расчёт времени работы батареи. Ценность результата в координации двух ступеней и возможности аппаратного ускорения, а не в доказанной готовности медицинского изделия.
Источник. Оригинальное название: SpikeAid: A Streaming Spiking Hearing Aid Framework for Joint Noise Reduction and Wide Dynamic Range Compression. arXiv:2610.24696; полный текст PDF.