Вокодеры Бинарные сети Фаза сигнала
arXiv cs.SD

BiVoC: высокоточный нейронный вокодер с бинарными весами и активациями

ArXiv:2611.22593

Бинаризация обычного вокодера резко уменьшает формальную вычислительную стоимость, но может разрушить гармоники и фазовую структуру. BiVoC оставляет аналитически восстанавливаемую часть спектра вне обучаемой сети, а ограниченную бинарную сеть направляет на остаток. Работа полезна и своим инженерным предостережением: меньше эквивалентных операций ещё не означает меньшего времени работы на обычном процессоре.

Метод. Из mel-спектра Y сначала получают начальную амплитуду A†Y, где A — mel-фильтры. Сеть предсказывает остаточную амплитуду и фазу; остаток проецируется оператором I−A†A и добавляется к известной части, затем амплитуда ограничивается снизу перед iSTFT. Такое ограничение означает, что точную линейную согласованность нельзя автоматически приписать окончательной волне. Частоты разбиты на 25 неравномерных подполос с более подробным представлением низких частот. Голова сохраняет полную точность, основные внутренние свёртки используют бинарные веса и активации, последние спектральные слои снова непрерывные. Простые остаточные блоки и BatchNorm оказываются уместнее сложных блоков полноточных вокодеров. Бинарны вычисления сети, а не отсчёты аудио: статья не задаёт однобитный аудиокодек и новый битрейт передачи.

Известная часть спектра аналитическая, остаток и фаза обучаются. Mel-спектр Y: Условие вокодера; не новый аудиобитовый поток. Известная часть Z = A†Y: Аналитическое восстановление доступной информации. Сеть по 25 подполосам: Новое: полная точность головы, бинарное тело с BN. Остаточная амплитуда + фаза: Новое: раздельные выходы; последний слой float. Z + проекция остатка: Новое: (I − A†A) для амплитуды, затем ограничение ≥0. Амплитуда + фаза → iSTFT: Речь 24 кГц; скорость зависит от реализации.
Схема по материалам статьи, разделы III–IV, уравнения 16–26 и таблицы IX–X. A — mel-фильтры, A† — псевдообратная матрица. Показана логика range–null; точное ограничение неотрицательности амплитуды опущено. Голова сохраняет полную точность, бинарны главным образом тело и выходные модули; последний спектральный слой полной точности. Это бинарные веса/активации, не битрейт аудио. Измеренная реализация использует float-тензоры.

Результаты. На LibriTTS BiVoC получает PESQ 3,447, ViSQOL 4,779 и WER 6,98% против PESQ 1,829 и WER 9,46% у напрямую бинаризованного Vocos. Полноточный Vocos остаётся выше по PESQ 3,615 и ViSQOL 4,879. Эквивалентный размер BiVoC — 1,08 млн параметров; расчётная стоимость — 1,01 млрд операций на пять секунд звука. На CPU измерено ускорение 14,24× относительно реального времени, то есть RTF около 0,070; это пропускная способность испытания, не алгоритмическая задержка. Проверки вне обучающего распределения включают EARS, AISHELL3 и музыкальные записи.

Ограничения. Эквивалентные параметры и операции рассчитаны с предполагаемой упаковкой битов и XNOR-popcount. В измеренной реализации PyTorch бинарные значения представлены float-тензорами, а свёртки выполняются обычными ядрами: заявленное теоретическое сжатие не равно реально занятой памяти процесса. Последовательная обработка подполос и бинаризация на лету создают накладные расходы. Перенос на специализированные битовые ядра ещё предстоит проверить.

Фишка из статьи. Таблица X отделяет качество, теоретическую арифметику и настоящую скорость. BiVoC требует меньше расчётных операций, чем полноточный Vocos, но на CPU примерно в десять раз медленнее. Сравнение с бинарным Vocos дополнительно показывает, что наиболее дешёвый вариант может оказаться неприемлемым по качеству.

ВокодерЭкв. операций на 5 с, млрдСкорость CPU, × реального времениPESQ
Vocos, полная точность6,35142,763,615
Vocos с бинаризацией0,5368,051,829
BiVoC1,0114,243,447

Как это читать: эти три столбца отвечают на разные вопросы. Выбирать систему только по числу операций здесь нельзя. Аналитическая часть и специализированная архитектура возвращают качество бинарной сети, но не устраняют автоматически накладные расходы программной реализации.

Источник. Оригинальное название: High-Fidelity Binarized Neural Vocoder. arXiv:2611.22593; полный текст PDF.

Оригинальная статья на arXiv