GS-Codec: бутылочное представление на основе гауссовых примитивов для нейросетевого кодирования аудио

GS-Codec заменяет привычную векторную квантизацию структурным разложением скрытого сигнала на одномерные гауссовы примитивы. Число примитивов и разрядность можно менять после обучения, получая управляемый битрейт без отдельной кодовой книги для каждого режима.

Метод. SEANet-кодировщик выдаёт 75 скрытых кадров в секунду, которые аппроксимируются центрами, ширинами и 32-канальными амплитудами гауссиан. Параметры скалярно квантуются; итерационный подбор служит верхней границей, а отдельный GS Predictor заменяет 300 шагов оптимизации одним проходом. Декодер общий с контролями RVQ и FSQ.

Результаты. При 5,95 кбит/с предиктор получает PESQ 3,8, UTMOS 4,05, STOI 0,96, сходство говорящего 0,94 и WER 2,1%. При том же основании RVQ даёт UTMOS 3,94 и сходство 0,93. Кодирование ускоряется со 171,2 до 7,9 мс на трёхсекундный сегмент, RTF падает с 0,057 до 0,0026. В MUSHRA около 6 кбит/с GS Predictor набирает 75,36 против 72,53 у RVQ, 64,22 у DAC и 53,68 у EnCodec.

Ограничения. Предиктор всё ещё медленнее EnCodec и DAC, а итерационный режим непрактичен. Обработка некаузальна и идёт целыми трёхсекундными сегментами, поэтому GPU-RTF не равен потоковой задержке. Проверена в основном английская речь при умеренных битрейтах; музыка, другие языки и диапазон ниже 1 кбит/с остаются открытыми.

Фишка из статьи. При фиксированном бюджете важнее сначала обеспечить достаточное число примитивов, а оставшиеся биты потратить на точность параметров. Высокая разрядность не спасает слишком редкое разложение.

Как это читать: при равной передаче битов более плотное покрытие времени побеждает точную передачу немногих примитивов. Это отличает параметрическое разложение от обычного выбора размера кодовой книги и даёт содержательный регулятор скорости.