StreamSE: потоковое улучшение речи в пространстве нейрокодека на мобильном устройстве
StreamSE восстанавливает непрерывный чистый признак нейрокодека за один проход на кадр, без диффузионных итераций и просмотра будущих кадров. Главный инженерный результат подтверждён на настоящем смартфоне: полный тракт укладывается в реальное время на одном процессорном ядре. При этом цена кодирования и декодирования гораздо выше цены самого улучшителя.
Метод. Замороженный MOSS-Audio-Tokenizer-Nano кодирует 48 кГц в 768-мерные признаки каждые 80 мс. Причинный Transformer из шести слоёв регрессирует чистый признак по шумному и собственным прошлым выходам. На обучении прошлые признаки эталонные; на выводе они предсказанные. После регрессии выполняются квантование и декодирование. Из 16 уровней RVQ оставляют восемь грубых. Вспомогательные звуковая и мел-спектральная потери сравнивают выход с чистой речью, пропущенной через тот же кодек, чтобы не заставлять улучшитель исправлять необратимые потери замороженного декодера.
Результаты. На DNS2020 причинный вариант без будущего контекста получает DNSMOS OVL 3,086 с реверберацией, 3,361 без неё и 3,016 на реальных записях. Это лучше приведённых полных генеративных базовых методов по семи из девяти сочетаний метрики и группы, но SELM выше по SIG и OVL реальных записей. На Galaxy S22 Snapdragon 8 Gen 1 полный int8-тракт имеет p95 61,04 мс на кадр, сам StreamSE 5,46 мс. Около 91% вычислительного времени приходится на кодек; 20 млн параметров относятся к улучшителю, ещё около 22 млн содержит кодек.
Ограничения. 80 мс накопления кадра не исчезают из-за нулевого просмотра вперёд, а вычисления добавляют свою задержку. Измерения сделаны сериями 330 с с температурным контролем и охлаждением, не в длительной фоновой работе телефона. Каждые 10 с состояния сбрасываются. Сравнение опирается на DNSMOS, без слушательской проверки, WER и оценки речевых галлюцинаций; базовые числа взяты из SELM. Int8 снижает OVL до 2,987/3,315/2,914, поэтому мобильный результат нельзя подменять качеством fp32.
Фишка из статьи. Таблица 2 показывает цену удаления тонких уровней кодека. Улучшение подавления реверберации сопровождается потерей сходства голоса, особенно после восьмого уровня. SIM здесь преобразован в диапазон [0,1] как (cos+1)/2.
| Уровней RVQ | OVL с реверберацией | OVL без реверберации | SIM без реверберации |
|---|---|---|---|
| 16 | 2,973 | 3,346 | 0,818 |
| 8 | 3,086 | 3,361 | 0,779 |
| 6 | 3,127 | 3,345 | 0,749 |
| 4 | 3,142 | 3,340 | 0,698 |
Как это читать: сокращение с 16 до 8 даёт +0,113 OVL ценой −0,039 SIM, а с 8 до 4 лишь +0,056 ценой −0,081. Это аргумент за конкретную рабочую точку, не доказательство, что тонкие уровни содержат исключительно реверберацию. Для голосовых интерфейсов и связи нужно отдельно определить допустимую потерю тембра.
Источник. Оригинальное название: StreamSE: Neural Audio Codec-based Streaming Speech Enhancement for On-device Inference. arXiv:2610.37024; полный текст PDF.