Синтез речи Аудиотокены Эффективность
arXiv eess.AS

M5-TTS: компактная многоязычная и многодиалектная модель синтеза речи с многотокенным предсказанием

ArXiv:2611.10162

M5-TTS исследует, насколько маленькой может быть языковая часть качественного синтезатора, если не заставлять её последовательно предсказывать каждый код кодека. Модель объединяет предсказание нескольких кодовых книг одного кадра и обучение с подкреплением, которое локализует ошибки произношения. Заявленные 50 млн параметров относятся к генератору токенов: предварительно обученный аудиокодек в эту величину не входит.

Метод. Qwen-TTS-Tokenizer-12Hz выдаёт 12,5 кадров в секунду, каждый представлен 16 кодовыми книгами: одной семантической и 15 остаточными. Временная сеть моделирует кадры, небольшая локальная сеть достраивает коды внутри кадра. В GRPO общие награды за сходство голоса и паузы дополняются локальными штрафами: ошибки распознавания через выравнивание переносятся на соответствующие акустические кадры. Это направляет обновления на проблемные места, а не одинаково на всю удачную или неудачную реплику.

Результаты. На Seed-TTSEval получены CER 1,37% для китайского и WER 2,91% для английского против 3,62% и 4,50% у MOSS-TTS-Nano 100M. Однако на трудной выборке WER хуже: 17,48% против 15,77%. На четырёх ядрах Intel Xeon Gold 6530 измерены RTF 0,653 и 225 мс до первого блока после прогрева; загрузка модели и прогрев исключены. Это подтверждение конкретной серверной конфигурации, а не измерение на телефоне.

Ограничения. В аннотации упомянуты десять слушателей, но доступный PDF v1 описывает оценку естественности через VoiceJudge; эти результаты не следует смешивать. Приведённые здесь предпочтения автоматические, не MOS и не доля голосов людей. Полная стоимость системы включает кодек; перенос процессорной скорости на ARM отдельно не установлен.

Фишка из статьи. Таблицы 5–6 проверяют устойчивость автоматического судьи к перестановке A/B на одних и тех же 311 парах. Среднее предпочтение устойчиво, но отдельные решения меняются. Это полезнее одного процента побед: виден масштаб неопределённости самой процедуры оценки.

Решение при двух порядкахПарДоля
M5-TTS в обоих25581,99%
MOSS в обоих3310,61%
Предпочтение изменилось237,40%

Как это читать: 84,89% и 86,50% побед M5-TTS при двух порядках не являются независимыми экспериментами. Совпало 92,60% решений; 7,40% пар чувствительны к предъявлению. Такая проверка укрепляет вывод о направлении предпочтения, но не заменяет прослушивание и не устраняет слабость на трудной выборке.

Источник. Оригинальное название: M5-TTS: A Mini-Scale Multilingual and Multi-Dialect Text-to-Speech Language Model with Multi-Token Prediction. arXiv:2611.10162; полный текст PDF.

Оригинальная статья на arXiv