StreamLSC: покадровое потоковое сжатие речи с обучаемой энтропийной моделью
StreamLSC переносит нейросетевой речевой кодек с длинным контекстом в покадровый потоковый режим. Главная инженерная идея — согласовать свёртки, нормализацию, рекуррентное состояние и энтропийную модель так, чтобы обучение на целых последовательностях оставалось совместимым с обработкой коротких поступающих кадров. Качество почти не зависит от длины кадра в проверенном диапазоне, но вычислительная цена выше, чем у простых кодеков.
Метод. Причинные свёртки кэшируют граничные признаки предыдущего кадра, LayerNorm работает внутри кадра, а RWKV используется в рекуррентном режиме. Потоковый энтропийный квантователь объединяет гиперприор и авторегрессионный контекст по группам каналов. Частотно-временной вход строится STFT с шагом 160 отсчётов при 16 кГц; очередной кадр содержит 1280 новых отсчётов и 350 сохранённых. Дискриминатор включается только в последние десять эпох обучения.
Результаты. По кривым «качество—скорость» относительно FunCodec средняя экономия BD-RATE составляет 51,37% для ViSQOL и 53,99% для PESQ. В MUSHRA с 15 слушателями и 12 фрагментами StreamLSC при 1,1 кбит/с получает 92,8 балла против 95,3 у эталона. Модель содержит 149,2 млн параметров; RTF 0,0539 измерен на RTX 4090. Двухэтапное GAN-обучение снижает битрейт с 3529 до 3377,29 бит/с при практически том же PESQ 3,18.
Ограничения. Все эксперименты выполнены на LibriTTS, то есть преимущественно чистой читаемой английской речи. Слушательская выборка невелика. RTF на мощном ускорителе не доказывает пригодность для телефона или процессора; отдельного полного бюджета задержки с захватом кадра, STFT, кодированием и передачей не приведено. BD-RATE относится к конкретному сравнению с FunCodec, а не ко всем кодекам.
Фишка из статьи. Сокращение кадра с 640 до 80 мс почти не меняет ViSQOL. Это более прямое подтверждение пригодности архитектуры к потоку, чем одно измерение общей скорости.
| Длина кадра | ViSQOL | Изменение к 640 мс |
|---|---|---|
| 80 мс | 4,8257 | −0,0062 |
| 160 мс | 4,8283 | −0,0036 |
| 320 мс | 4,8315 | −0,0004 |
| 640 мс | 4,8319 | 0 |
Как это читать: качество на этой рабочей точке практически сохраняется даже у короткого кадра. Однако 80 мс — размер новых входных данных, а RTF — отношение времени вычислений к длительности записи; ни одно из этих чисел само по себе не равно полной задержке связи.
Источники. Страница arXiv; PDF статьи. Оригинальное название: Frame-Wise Streaming for Efficient Learned Speech Compression.