GigaEdge Spench: набор средств для практического потокового улучшения речи
GigaEdge Spench рассматривает улучшение речи как готовый тракт приложения: модель, передискретизация, накопление состояния, регулировка уровня и взаимодействие со звуковым потоком. Работа полезна тем, что раздельно измеряет нейросеть и весь программный путь, не приравнивая быструю обработку файла к малой задержке разговора.
Метод. Общее ядро C++ поддерживает независимые состояния потоков при совместном использовании весов, ONNX Runtime и TensorFlow Lite. Есть INT8-модель для 8 кГц и две FP32-модели для 48 кГц: дискриминативная и гибридная с генеративной добавкой. Анализ использует окно 32 мс и шаг 16 мс, а несколько соседних кадров можно обрабатывать одним вызовом. Подключаются нормализация и SpeexDSP для эхоподавления; вход опорного эха доступен в native/Web, но не в рассмотренных мобильных API.
Результаты. На EARS–WHAM v2 гибридная модель 48 кГц получает ESTOI 0,77 и PESQ-WB 1,87, тогда как дискриминативная даёт 0,76 и 1,88. Предсказатели субъективного качества благоприятнее оценивают гибридный вариант, но DPDFNet2 сохраняет преимущество по ряду метрик. При блоке 16 мс полный SDK RTF гибридной модели равен 0,0989 в CLI и 0,2438 в Web; p99 времени вызова 2,84 и 5,81 мс. RSS CLI составляет примерно 592–641 МиБ, браузерного измерения 1798–1898 МиБ.
Ограничения. Это прежде всего программно-системная работа: число MAC не включает внешний DSP и не заменяет измерение времени. Предсказанные MOS не являются слушательской оценкой. Файловые тесты не измеряют сквозную задержку, переполнения звуковых буферов или гарантии срока каждого блока. В браузере стартовый порог буфера 64 мс, но это настройка, не измеренная задержка.
Фишка из статьи. Таблица 8 на с. 13 показывает, что укрупнение блоков уменьшает накладные расходы, но увеличивает время одного вызова. В исходной таблице RTF записан как 100R; ниже значения уже разделены на 100, чтобы не спутать отношение времени с загрузкой процессора.
| Гибридная модель 48 кГц | Блок, мс | RTF SDK | p99 вызова, мс |
|---|---|---|---|
| CLI | 16 | 0,0989 | 2,84 |
| CLI | 128 | 0,0556 | 8,98 |
| Web | 16 | 0,2438 | 5,81 |
| Web | 128 | 0,1309 | 19,94 |
Как это читать: Блок 128 мс почти вдвое экономнее по среднему времени, но требует больше накопленного входа и более длинного вызова. Для телефонного разговора выбирать его только по RTF неверно: нужны отдельный бюджет задержки и проверка аудиоколбэка под нагрузкой.
Источник. Оригинальное название: GigaEdge Spench: An SDK for Practical Streaming Speech Enhancement. arXiv:2611.13243; полный текст PDF.