BiVoC: высокоточный нейронный вокодер с бинарными весами и активациями
Бинаризация обычного вокодера резко уменьшает формальную вычислительную стоимость, но может разрушить гармоники и фазовую структуру. BiVoC оставляет аналитически восстанавливаемую часть спектра вне обучаемой сети, а ограниченную бинарную сеть направляет на остаток. Работа полезна и своим инженерным предостережением: меньше эквивалентных операций ещё не означает меньшего времени работы на обычном процессоре.
Метод. Из mel-спектра Y сначала получают начальную амплитуду A†Y, где A — mel-фильтры. Сеть предсказывает остаточную амплитуду и фазу; остаток проецируется оператором I−A†A и добавляется к известной части, затем амплитуда ограничивается снизу перед iSTFT. Такое ограничение означает, что точную линейную согласованность нельзя автоматически приписать окончательной волне. Частоты разбиты на 25 неравномерных подполос с более подробным представлением низких частот. Голова сохраняет полную точность, основные внутренние свёртки используют бинарные веса и активации, последние спектральные слои снова непрерывные. Простые остаточные блоки и BatchNorm оказываются уместнее сложных блоков полноточных вокодеров. Бинарны вычисления сети, а не отсчёты аудио: статья не задаёт однобитный аудиокодек и новый битрейт передачи.

Результаты. На LibriTTS BiVoC получает PESQ 3,447, ViSQOL 4,779 и WER 6,98% против PESQ 1,829 и WER 9,46% у напрямую бинаризованного Vocos. Полноточный Vocos остаётся выше по PESQ 3,615 и ViSQOL 4,879. Эквивалентный размер BiVoC — 1,08 млн параметров; расчётная стоимость — 1,01 млрд операций на пять секунд звука. На CPU измерено ускорение 14,24× относительно реального времени, то есть RTF около 0,070; это пропускная способность испытания, не алгоритмическая задержка. Проверки вне обучающего распределения включают EARS, AISHELL3 и музыкальные записи.
Ограничения. Эквивалентные параметры и операции рассчитаны с предполагаемой упаковкой битов и XNOR-popcount. В измеренной реализации PyTorch бинарные значения представлены float-тензорами, а свёртки выполняются обычными ядрами: заявленное теоретическое сжатие не равно реально занятой памяти процесса. Последовательная обработка подполос и бинаризация на лету создают накладные расходы. Перенос на специализированные битовые ядра ещё предстоит проверить.
Фишка из статьи. Таблица X отделяет качество, теоретическую арифметику и настоящую скорость. BiVoC требует меньше расчётных операций, чем полноточный Vocos, но на CPU примерно в десять раз медленнее. Сравнение с бинарным Vocos дополнительно показывает, что наиболее дешёвый вариант может оказаться неприемлемым по качеству.
| Вокодер | Экв. операций на 5 с, млрд | Скорость CPU, × реального времени | PESQ |
|---|---|---|---|
| Vocos, полная точность | 6,35 | 142,76 | 3,615 |
| Vocos с бинаризацией | 0,53 | 68,05 | 1,829 |
| BiVoC | 1,01 | 14,24 | 3,447 |
Как это читать: эти три столбца отвечают на разные вопросы. Выбирать систему только по числу операций здесь нельзя. Аналитическая часть и специализированная архитектура возвращают качество бинарной сети, но не устраняют автоматически накладные расходы программной реализации.
Источник. Оригинальное название: High-Fidelity Binarized Neural Vocoder. arXiv:2611.22593; полный текст PDF.