TTSonic: управляемый синтез и преобразование речи с общим семантическим токенизатором

TTSonic использует одни семантические токены для синтеза, преобразования голоса и улучшения речи. Главное решение: сначала сделать токенизатор чувствительным к языковому содержанию, затем доучить его с восстановлением звука и отдельным представлением говорящего. Такая настройка улучшает субъективную естественность, но не обязательно точность произношения по автоматическому распознавателю.

Метод. Девятнадцать блоков E-Branchformer преобразуют 16-кГц сигнал в 25 векторов в секунду. FSQ с уровнями [8, 8, 8, 8, 4] задаёт 16384 возможных индекса: 14 бит на токен, или расчётные 350 бит/с только для необработанных семантических индексов. Это не полный битрейт самостоятельного кодека: восстановление дополнительно обусловлено информацией о говорящем и акустике. Первый этап использует распознавание речи; второй замораживает основную часть кодировщика и доучивает квантизацию с восстановлением и пониманием речи. В генеративной системе языковая модель Qwen 3.5 на 2 млрд параметров предсказывает токены; потоковая акустическая модель преобразует их в мел-спектрограмму, затем HiFT выдаёт звук 24 кГц. При преобразовании голоса языковую модель можно обойти.

Результаты. На Seed-TTS-Eval для китайского получены CER 0,78% и сходство голоса 0,784, для английского WER 1,66% и сходство 0,717. На трудной китайской части CER равна 5,64%. Это сильные результаты, но не лидерство по каждому показателю: например, в английской части у Auk приведён WER 1,02%. При шумном образце голоса WavLM-сходство составляет 0,369 против 0,299 у сопоставляемой CosyVoice; WER 1,45 против 1,90%, UTMOS 4,37 против 4,23.

Ограничения. Потоковая структура акустического декодера сама по себе не устанавливает задержку всей системы. Авторы не дают полноценной кривой скорость/качество, RTF, размера памяти и общего битрейта со всеми условиями декодирования. Субъективные преимущества отдельных этапов нужно читать вместе с автоматическими ошибками и отсутствием подробной оценки их статистической неопределённости. Семантическая передача содержания, воспроизведение голоса и сжатие общего аудио остаются разными задачами.

Фишка из статьи. Таблицы 9 и 10 показывают полезный конфликт показателей после второго этапа обучения. Ниже один и тот же сценарий преобразования голоса; для WER меньше лучше, для остальных оценок больше лучше.

Как это читать: слушателям речь кажется естественнее, хотя распознавание и две автоматические оценки немного ухудшаются. Это не повод отбросить какой-либо показатель: второй этап меняет компромисс между сохранением точной последовательности и акустическим восстановлением. Считать такой результат безусловным улучшением токенизатора или переносить 350 бит/с на полноценную передачу голоса было бы неверно.

Источник. Оригинальное название: TTSonic: A Unified Framework for Composable and Controllable Speech Generation. arXiv:2611.04282; полный текст PDF.