E-Gaborformer: причинное распознавание речи со свёртками Габора и памятью на основе дельта-правила

E-Gaborformer заменяет большую часть внимания рекуррентной памятью, а временные свёртки ограничивает словарём причинных атомов Габора. Цель инженерная: не ждать будущие кадры и не наращивать состояние с длительностью звонка. Работа полезна сочетанием контролируемого сравнения архитектур и отдельного, существенно менее контролируемого испытания промышленного распознавателя.

Метод. Три слоя Gated DeltaNet-2 чередуются с одним слоем внимания по последним 128 кадрам, то есть 10,24 с при шаге 80 мс. Словарь свёртки содержит 16 атомов на 31 отсчёте: две гауссовские огибающие и семь пар синус-косинус. Обучаются коэффициенты их линейной комбинации, не частоты атомов. Диапазон 0,375–5 Гц относится к модуляциям последовательности признаков, не к акустическим частотам речи. Выходной SiLU-затвор заменяют на sigmoid и одновременно уменьшают epsilon RMSNorm с 10⁻⁵ до 10⁻⁶; вместе эти изменения устраняют наблюдавшееся подавление рекуррентной ветви на старте обучения.

Результаты. На LibriSpeech-100 после десяти эпох причинная CTC-модель получает 20,5/39,2% WER на dev-clean/dev-other против 20,8/39,2 у E-Branchformer с тем же входным трактом; заданная точность достигается на 5–18% раньше по обновлениям. Промышленная RNN-T-модель 626M на закрытом английском наборе получает 9,6% WER против 14,0% у Nemotron 3.5 в причинном режиме и 13,3% с просмотром 480 мс. Двухклассовая запись решётки RNN-T вместе с оптимизацией вычислений сокращает время обновления с 7,55 до 2,90 с, примерно в 2,6 раза.

Ограничения. Английское промышленное сравнение содержит лишь 24 записи и 1214 слов; новая модель обучалась для этого трафика, а Nemotron использовался и как ранний учитель. На иврите адреса и URL ухудшаются с 14,8 до 15,8% WER. Контролируемая открытая проверка короткая и с высокой абсолютной ошибкой. Нулевая глубина просмотра не означает нулевую задержку выдачи токена: её ещё предстоит измерить. Нет RTF обслуживания и большого теста многоминутных потоков. Свёртки Габора помогли гибриду, но их перенос в E-Branchformer в отдельном опыте ухудшил WER, поэтому это не универсальная замена.

Фишка из статьи. Таблица 1 раскладывает постоянное состояние промышленного варианта в fp32. Это состояние одного потока, не память весов модели и не полный объём видеопамяти.

Как это читать: наибольший остаточный расход дают свёртки, а не рекуррентная матрица. Для гипотетического кодировщика того же размера с неограниченным причинным вниманием расчётный кэш через десять минут достигает около 1,1 GB. Это аргумент о масштабировании состояния, а не измеренное преимущество по полной памяти или скорости над любой уже ограничивающей контекст моделью.

Источник. Оригинальное название: Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory. arXiv:2611.08092; полный текст PDF.