RT-SEMamba: Real-Time Speech Enhancement Mamba via Progressive Knowledge Distillation
RT-SEMamba превращает офлайновую частотно-временную Mamba в строго причинную модель с фиксированным состоянием и задержкой одного окна STFT. Затем восьмислойный вариант сжимается в один слой так, чтобы поднять качество без изменения времени работы - редкий случай, когда дистилляция показана прямо на кривой PESQ против RTF.
Метод. Причинная STFT при 16 кГц использует окно 400 отсчетов и шаг 100, то есть 25 мс алгоритмической задержки и 6,25 мс шага. Временная Mamba однонаправленна, частотная обработка внутри кадра двунаправленна. При потоковом выводе хранятся только небольшие буферы сверток и состояния SSM, не растущий кэш всей истории. Ученику передаются комплексный спектральный выход и нормализованные промежуточные признаки учителя, причем вес дистилляции плавно растет первые 10% обучения.
Результаты. На VoiceBank-DEMAND один слой дает PESQ 3,06 при 1,05 млн параметров и RTF 0,11 на RTX 5090. Восемь слоев дают 3,32 при 2,74 млн и RTF 0,29. Дистиллированный однослойный ученик достигает 3,18 при прежнем RTF 0,11, возвращая 46,2% разрыва с учителем по PESQ; двухслойный - 3,22 при RTF около 0,13. Все варианты сохраняют задержку 25 мс.
Ограничения. Проверка ограничена синтетическим VoiceBank-DEMAND: 28 обучающих и два тестовых говорящих, без реального потокового шума и субъективного прослушивания. RTF измерен после прогрева на RTX 5090, поэтому об энергоэффективности на телефоне или встроенном процессоре судить нельзя. STOI быстро насыщается на 0,95 и плохо различает глубины. Сравнение с предыдущими работами смешивает модели, обученные на более крупных корпусах.
Фишка из статьи. Глубина дает убывающую отдачу: основной скачок происходит с одного до двух слоев, а дистилляция поднимает однослойную точку почти до трехслойной без дополнительных вычислений.
| Модель | Параметры | RTF | PESQ | Задержка |
|---|---|---|---|---|
| 1 слой | 1,05 млн | 0,11 | 3,06 | 25 мс |
| 2 слоя | 1,29 млн | 0,13 | 3,19 | 25 мс |
| 8 слоев | 2,74 млн | 0,29 | 3,32 | 25 мс |
| 8 в 1, дистилляция | 1,05 млн | 0,11 | 3,18 | 25 мс |
| 8 в 2, дистилляция | 1,29 млн | около 0,13 | 3,22 | 25 мс |
Как это читать: дистиллированный один слой прибавляет 0,12 PESQ бесплатно по RTF и работает примерно в 2,6 раза быстрее восьмислойного учителя по округленным значениям таблицы. Это и есть наиболее убедительный результат статьи, а не абсолютный максимум 3,32.