Аудиокодеки FSQ Преобразование голоса
arXiv eess.AS

21Codec: аудиокодек 800 бит/с с отдельным управлением голосом на стороне декодера

ArXiv:2611.24094

21Codec пытается отделить содержание речи от личности говорящего: токены передают преимущественно фонетическую информацию, а нужный голос задаётся отдельным вектором декодера. Это полезно для управляемого синтеза и смены голоса без повторного кодирования. Однако свобода управления покупается заметным ростом ошибок распознавания, а причинность декодера не делает всю систему потоковой.

Метод. Некаузальный кодировщик объединяет свёрточные акустические признаки и выход замороженного Wav2Vec2. FSQ квантует восемь координат по четырём уровням: 65 536 неявных кодов, 16 бит на кадр при 50 кадрах/с, то есть 800 бит/с. Этот расчёт не включает внешний вектор ECAPA-TDNN и его передачу. Трансформер с iSTFT восстанавливает звук 24 кГц; внимание видит текущий блок целиком и сохранённое прошлое, но не будущие блоки. При обучении отдельный классификатор пытается узнать диктора по токенам, а кодировщик учится делать его распределение равномерным. Сдвиг формант меняет тембр, сохраняя F0 и гармоническую структуру. Вектор желаемого голоса модулирует декодер независимо от потока токенов.

Содержание в FSQ, голос задаётся отдельно на стороне декодера. Исходная речь 24 кГц: Некаузальные акустический кодировщик + Wav2Vec2. FSQ: 50 кадров/с: 8 координат × 4 уровня → 16 бит; 800 бит/с. Обучение: скрыть диктора: Новое: классификатор и обратная цель равномерности. Другой образец голоса: ECAPA-TDNN → отдельное условие голоса. Блочно-причинный декодер: Новое: голос модулирует декодер; прошлое в кэше. iSTFT → речь 24 кГц: Меняется личность голоса; разборчивость не бесплатна.
Схема по материалам статьи, рисунок 1, раздел 2 и таблицы 4–5. Новые блоки отмечены словом «Новое» и цветом; внешний ECAPA-вектор не включён в 800 бит/с. Кодировщик некаузален, причинность действует только между блоками декодера. Классификатор диктора и потери используются только при обучении; формантная аугментация и дискриминатор качества опущены. Кэш внимания относится к таблице 4, не к опыту без кэша на рисунке 2.

Результаты. На EN-80 из 160 записей ранее не встречавшихся дикторов сходство с исходным голосом составляет 0,903 против 0,818 у некондиционированного 21Codec-U, но WER растёт с 4,7% до 9,5%. У NeuCodec при той же номинальной скорости WER 2,7%. DNSMOS у 21Codec равен 3,415, однако слушатели не подтверждают его первенства: естественность 3,30 против 3,19 у 21Codec-U статистически не различается, а WavTokenizer получает 3,98. На 160-мс блоках декодера измерены RTF 0,129 на i9-13900K и 0,035 на RTX 4090, batch=1.

Ограничения. Кодировщик некаузален, поэтому числа для декодера нельзя выдавать за задержку сквозной связи. К вычислению добавляются накопление блока, кодирование и получение образца голоса. Подавление информации о дикторе не означает анонимность: точность обученного распознающего зонда снижается, но остаётся выше случайной. Обучение на 9907 часах и 54 языках остановлено после пяти дней на четырёх H100 до полной сходимости; основной подробный тест англоязычный.

Фишка из статьи. Таблица 4 показывает, что увеличение блока почти перестаёт помогать после 160–320 мс. Это отдельный опыт с сохранением состояния внимания между блоками; рисунок 2 о дрейфе голоса, напротив, использует декодирование без такого состояния. Смешивать эти два режима при оценке потокового качества нельзя.

Блок декодераСходство голосаWER, %DNSMOS
20 мс0,85410,73,28
80 мс0,8729,93,32
160 мс0,8759,53,34
320 мс0,8789,33,34
500 мс0,8818,73,35

Как это читать: переход с 20 до 160 мс улучшает сразу несколько показателей, но дальнейшее ожидание даёт меньшую отдачу. Измеренные 16,8–20,6 мс CPU на вызов для блоков 20–160 мс — время вычисления, а не полная задержка от микрофона до звука. Все 65 536 кодов используются; энтропия 15,66 из 16 бит означает, что идеальное энтропийное сжатие сэкономило бы лишь около 0,02 кбит/с.

Источник. Оригинальное название: 21Codec: Decoder-side Speaker Control for Text-to-Speech. arXiv:2611.24094; полный текст PDF.

Оригинальная статья на arXiv