HyVox: малозатратная идентификация говорящего на нейроморфном процессоре
HyVox строит компактные представления голоса на импульсном процессоре Xylo Audio 3, а сравнение с домашней галереей выполняет микроконтроллер. Главный результат не просто низкое энергопотребление: работа позволяет увидеть его цену при увеличении числа жильцов и появлении незнакомого голоса. Экономия динамической энергии заметно больше экономии полной энергии из-за потребления в ожидании.
Метод. Импульсная сеть содержит 832 LIF-нейрона, около 29 тысяч прореженных связей и обучаемые быстрые, средние и медленные постоянные времени. Представление строится по счётчикам 32 выходных нейронов. Обучение CAST моделирует целочисленную динамику, ограничения событий и временную сетку аппаратуры; простое отображение обученной сети без этого теряет 31,1 п.п. точности, а CAST возвращает 29,5 п.п. На STM32L476 выполняется косинусное сравнение с прототипами и отказ для неизвестного говорящего. Прототипы обновляются без изменения весов сети.
Результаты. В виртуальных домохозяйствах из двух участников top-1 достигает 99,6% при EER 5,5%; для двадцати участников top-1 снижается до 94,9%, EER растёт до 13,2%. У BC-ResNet в последнем случае 97,6% и 7,7%, у Small-SV 99,6% и 2,4%. Измеренная полная энергия одного аппаратного прохода HyVox составляет около 3,8 мДж против 22,1 мДж у BC-ResNet. Устройство обрабатывает признаки трёхсекундного окна примерно за 962 мс; усреднение трёх окон требует девять секунд звука для первого решения, а не одну секунду пользовательской задержки.
Ограничения. Домохозяйства составлены из Common Voice, это не длительная запись настоящей шумной квартиры. При общей настройке порога на двух участниках доля ложного принятия в галерее из двадцати достигает 32,1%: порог нужно перекалибровать. Аппаратная проверка и основные статистические испытания используют разные выборки; их нельзя объединять в единое измерение точности на чипе. Энергия относится к принятому авторами циклу вычисления и не включает весь акустический тракт или расходы отладочного компьютера.
Фишка из статьи. Таблица 1 разделяет динамическую и полную энергию. Сравнивать только первое число особенно рискованно для постоянно включённого голосового устройства.
| Система | Время вычисления, мс | Мощность ожидания, мВт | Динамическая / полная энергия, мДж | EER при 20 участниках, % |
|---|---|---|---|---|
| Small-SV | 2149,1 | 0,05 | 28,63 / 28,7 | 2,4 |
| BC-ResNet | 1659,71 | 0,05 | 22,01 / 22,1 | 7,7 |
| HyVox | 961,9 | 2,30 | 1,63 / 3,8 | 13,2 |
Как это читать: относительно BC-ResNet динамическая энергия уменьшается примерно в 13,5 раза, полная только в 5,8 раза. Потребление ожидания HyVox выше в 46 раз. Для коротких редких обращений и непрерывного контроля доли этих расходов будут разными; при этом рост EER показывает, что энергетический выигрыш нельзя обсуждать отдельно от надёжного отказа незнакомому голосу.
Источник. Оригинальное название: HyVox: Rethinking Low-Power Voice Intelligence towards Neuromorphic-von Neumann Edge Computing. arXiv:2611.03735; полный текст PDF.