DuSpaR: разреживающий рекуррентный блок с двумя состояниями и обратной связью для эффективной обработки речи

DuSpaR предлагает рекуррентный блок для непрерывной обработки речи, в котором вычисления экономятся не уменьшением всей модели, а динамическим занулением части состояния. Два состояния разделяют быстро меняющуюся и накопительную информацию, а обратная связь помогает сети заранее определить, какие обновления в текущем кадре можно пропустить.

Метод. После рекуррентного обновления ReLU создаёт структурированную нулевую активность; реализация может не выполнять умножения для нулевых элементов. Второе состояние и модуляция обратной связью уменьшают долю активных каналов без жёсткого фиксированного шаблона. Блок проверяется в распознавании ключевых слов, понимании речевых команд и одноканальном улучшении речи.

Результаты. В распознавании ключевых слов DuSpaR достигает 93,72% при 3,21 MMAC/с против 93,10% и 6,55 MMAC/с у GRU. В понимании команд — 93,12% при 1,18 MMAC/с против 92,92% и 3,74 MMAC/с. В улучшении речи вычисления уменьшаются с 236,78 до 118,04 MMAC/с при том же PESQ 2,92; STOI меняется с 94,02 до 93,82, SI-SDR — с 18,43 до 18,34 дБ.

Ограничения. MMAC и занятость состояний — расчётные показатели, а не измеренная энергия или задержка на оборудовании с поддержкой разреженности. Эксперименты в основном англоязычные; выигрыш зависит от того, насколько конкретное ядро умеет пропускать нулевые операции.

Фишка из статьи. Обратная связь особенно полезна не там, где сеть уже мала, а там, где обычная разреживающая рекуррентная модель оставляет слишком много активных элементов. При сопоставимом качестве DuSpaR сокращает эффективные вычисления относительно SpaR в разной степени для трёх задач.

Как это читать: одинаковый механизм даёт разный выигрыш в зависимости от временной избыточности задачи; поэтому заявленные 11,3 раза нельзя считать универсальной характеристикой блока.