Улучшение речи Потоковая обработка DSP
arXiv cs.LG

GigaEdge Spench: набор средств для практического потокового улучшения речи

ArXiv:2611.13243

GigaEdge Spench рассматривает улучшение речи как готовый тракт приложения: модель, передискретизация, накопление состояния, регулировка уровня и взаимодействие со звуковым потоком. Работа полезна тем, что раздельно измеряет нейросеть и весь программный путь, не приравнивая быструю обработку файла к малой задержке разговора.

Метод. Общее ядро C++ поддерживает независимые состояния потоков при совместном использовании весов, ONNX Runtime и TensorFlow Lite. Есть INT8-модель для 8 кГц и две FP32-модели для 48 кГц: дискриминативная и гибридная с генеративной добавкой. Анализ использует окно 32 мс и шаг 16 мс, а несколько соседних кадров можно обрабатывать одним вызовом. Подключаются нормализация и SpeexDSP для эхоподавления; вход опорного эха доступен в native/Web, но не в рассмотренных мобильных API.

Результаты. На EARS–WHAM v2 гибридная модель 48 кГц получает ESTOI 0,77 и PESQ-WB 1,87, тогда как дискриминативная даёт 0,76 и 1,88. Предсказатели субъективного качества благоприятнее оценивают гибридный вариант, но DPDFNet2 сохраняет преимущество по ряду метрик. При блоке 16 мс полный SDK RTF гибридной модели равен 0,0989 в CLI и 0,2438 в Web; p99 времени вызова 2,84 и 5,81 мс. RSS CLI составляет примерно 592–641 МиБ, браузерного измерения 1798–1898 МиБ.

Ограничения. Это прежде всего программно-системная работа: число MAC не включает внешний DSP и не заменяет измерение времени. Предсказанные MOS не являются слушательской оценкой. Файловые тесты не измеряют сквозную задержку, переполнения звуковых буферов или гарантии срока каждого блока. В браузере стартовый порог буфера 64 мс, но это настройка, не измеренная задержка.

Фишка из статьи. Таблица 8 на с. 13 показывает, что укрупнение блоков уменьшает накладные расходы, но увеличивает время одного вызова. В исходной таблице RTF записан как 100R; ниже значения уже разделены на 100, чтобы не спутать отношение времени с загрузкой процессора.

Гибридная модель 48 кГцБлок, мсRTF SDKp99 вызова, мс
CLI160,09892,84
CLI1280,05568,98
Web160,24385,81
Web1280,130919,94

Как это читать: Блок 128 мс почти вдвое экономнее по среднему времени, но требует больше накопленного входа и более длинного вызова. Для телефонного разговора выбирать его только по RTF неверно: нужны отдельный бюджет задержки и проверка аудиоколбэка под нагрузкой.

Источник. Оригинальное название: GigaEdge Spench: An SDK for Practical Streaming Speech Enhancement. arXiv:2611.13243; полный текст PDF.

Оригинальная статья на arXiv