RubatoCodec: адаптивная токенизация речи с заданным числом событий и потоковым декодированием

RubatoCodec задаёт бюджет числа звуковых событий на всю реплику, но размещает их неравномерно по её содержанию. Каждое событие содержит коды и длительность, поэтому короткая последовательность остаётся пригодной для пошагового синтеза. Работа аккуратно разделяет адаптивное распределение, стоимость передачи времени и причинность декодера: эти свойства не равнозначны.

Метод. Adaptive Firing использует изменения признаков кодека и спектра без обучаемого предсказателя границ. После интервального объединения квантуются признаки, а причинный декодер работает на сетке 50 Гц. По умолчанию бюджет соответствует 12,5 события/с. Основа связана с X-Codec-2; сравнения включают фиксированную частоту, равномерное размещение при том же декодере, несколько глубин остаточного квантования и генератор речи, предсказывающий коды вместе с длительностями.

Результаты. В контролируемом опыте при 12,5 Гц и 16 кодовых слоях PESQ-WB растёт с 2,442 до 2,556, ошибка dWER уменьшается с 0,72 до 0,62%. Полная скорость составляет 2,43, а не 2,40 кбит/с: длительности добавляют около 0,028 кбит/с. В одинаково обученном английском синтезе WER меняется с 3,20 до 3,10%, UTMOS — с 4,080 до 4,162, сходство голоса остаётся 0,392.

Ограничения. Точный бюджет реплики и размещение событий при кодировании используют сведения обо всей записи; потоковым является декодирование, не обязательно анализ живого входа. Контролируемые архитектуры обучены по одному разу, все проверенные языки присутствуют в обучающей смеси. TTS проверен на одном английском корпусе; человеческая оценка предпочтений и естественности пауз ещё нужна. Уменьшение числа событий не уменьшает автоматически вычисления волнового декодера на сетке 50 Гц.

Фишка из статьи. При повышении частоты событий преимущество по разборчивости меняет знак. Раздел 5.2 сравнивает отдельно обученные адаптивные и фиксированные модели при 25 Гц.

Как это читать: адаптация особенно полезна при редких событиях, когда равномерное разбиение тратит дефицитные токены неудачно. При более частой сетке она не обязана уменьшать каждый вид ошибки. Эти результаты нельзя объяснить только границами: часть сравнений одновременно меняет объединение интервалов и сетку декодирования, что авторы отдельно оговаривают.

Источник. Оригинальное название: RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding. arXiv:2610.29434; полный текст PDF.