stGRU: троичная рекуррентная сеть с резонансными импульсными нейронами для распознавания речи

stGRU объединяет троичные рекуррентные матрицы с параллельными резонансными импульсными нейронами. Цель состоит не в механическом квантовании готового распознавателя, а в совместном обучении фильтрации и дискретных событий, передаваемых между слоями. Работа интересна контролируемым сравнением, где импульсная динамика одновременно улучшает WER и снижает расчётные затраты относительно непрерывного троичного варианта.

Метод. Троичный рекуррентный блок с воротами обрабатывает спектральные признаки, затем несколько параллельных Resonate-and-Fire-динамик выделяют временные изменения и выдают бинарные события. Выход обучается с CTC без внешнего языкового декодировщика. Квантование использует полновесные обучаемые копии параметров и оценку градиента через дискретную операцию. Матричные операции устраняют полные умножения, но скалярные умножения в воротах, нормализации и динамике остаются: сеть не следует называть полностью свободной от умножений.

Результаты. На LibriSpeech-960 большая модель без внешней языковой модели получает WER 6,44±0,17% на test-clean и 17,49±0,23% на test-other по шести инициализациям. Добавление 4-граммной модели снижает test-clean до 5,95±0,16%, но это уже другой режим. В потоковой конфигурации с просмотром вперёд 320 мс test-clean WER равен 9,11%. На AISHELL-1 при обучении с нуля CER составляет 10,88% на тесте. Большой вариант содержит около 329 млн параметров и требует 122,22 МБ для представления весов в принятом расчёте.

Ограничения. Энергия не измерена на готовом нейроморфном устройстве. Она рассчитана по числу операций и принятым стоимостям 45-нм реализации: 4,6 пДж для полного MAC, 0,9 пДж для разреженного сложения и 17,5 пДж для обновления PRF. Передача данных и реальная память могут изменить соотношение. Разрыв test-clean и test-other остаётся большим; ширина сети и обучение с полновесными теневыми весами также имеют цену, не отражённую одной оценкой энергии вывода.

Фишка из статьи. Контролируемая абляция большой модели при одной фиксированной инициализации 3407 отделяет пользу импульсов от пользы троичных матриц. Это отдельный опыт, а не среднее 6,44% по шести запускам.

Как это читать: дискретизация не просто экономит передачу событий ценой точности: в этой паре точность тоже повышается. Это поддерживает гипотезу о полезной временной индуктивной структуре резонансных нейронов. Однако одна инициализация не устанавливает значимость разницы, а аналитическая энергия не гарантирует такой же выигрыш на GPU или микроконтроллере. Для практического вывода нужны реализация и измерение полного устройства.

Источник. Оригинальное название: Bio-Inspired Auditory Processing: Coupling Parallel Resonate-and-Fire Dynamics with Ternary Recurrent Networks for Speech Recognition. arXiv:2610.29720; полный текст PDF.