M5-TTS: компактная многоязычная и многодиалектная модель синтеза речи с многотокенным предсказанием
M5-TTS исследует, насколько маленькой может быть языковая часть качественного синтезатора, если не заставлять её последовательно предсказывать каждый код кодека. Модель объединяет предсказание нескольких кодовых книг одного кадра и обучение с подкреплением, которое локализует ошибки произношения. Заявленные 50 млн параметров относятся к генератору токенов: предварительно обученный аудиокодек в эту величину не входит.
Метод. Qwen-TTS-Tokenizer-12Hz выдаёт 12,5 кадров в секунду, каждый представлен 16 кодовыми книгами: одной семантической и 15 остаточными. Временная сеть моделирует кадры, небольшая локальная сеть достраивает коды внутри кадра. В GRPO общие награды за сходство голоса и паузы дополняются локальными штрафами: ошибки распознавания через выравнивание переносятся на соответствующие акустические кадры. Это направляет обновления на проблемные места, а не одинаково на всю удачную или неудачную реплику.
Результаты. На Seed-TTSEval получены CER 1,37% для китайского и WER 2,91% для английского против 3,62% и 4,50% у MOSS-TTS-Nano 100M. Однако на трудной выборке WER хуже: 17,48% против 15,77%. На четырёх ядрах Intel Xeon Gold 6530 измерены RTF 0,653 и 225 мс до первого блока после прогрева; загрузка модели и прогрев исключены. Это подтверждение конкретной серверной конфигурации, а не измерение на телефоне.
Ограничения. В аннотации упомянуты десять слушателей, но доступный PDF v1 описывает оценку естественности через VoiceJudge; эти результаты не следует смешивать. Приведённые здесь предпочтения автоматические, не MOS и не доля голосов людей. Полная стоимость системы включает кодек; перенос процессорной скорости на ARM отдельно не установлен.
Фишка из статьи. Таблицы 5–6 проверяют устойчивость автоматического судьи к перестановке A/B на одних и тех же 311 парах. Среднее предпочтение устойчиво, но отдельные решения меняются. Это полезнее одного процента побед: виден масштаб неопределённости самой процедуры оценки.
| Решение при двух порядках | Пар | Доля |
|---|---|---|
| M5-TTS в обоих | 255 | 81,99% |
| MOSS в обоих | 33 | 10,61% |
| Предпочтение изменилось | 23 | 7,40% |
Как это читать: 84,89% и 86,50% побед M5-TTS при двух порядках не являются независимыми экспериментами. Совпало 92,60% решений; 7,40% пар чувствительны к предъявлению. Такая проверка укрепляет вывод о направлении предпочтения, но не заменяет прослушивание и не устраняет слабость на трудной выборке.
Источник. Оригинальное название: M5-TTS: A Mini-Scale Multilingual and Multi-Dialect Text-to-Speech Language Model with Multi-Token Prediction. arXiv:2611.10162; полный текст PDF.