Синтез речи Компактные модели Вокодеры
arXiv cs.CL

Antalia-2 Mini: турецкий синтез речи с 7,6 млн параметров, обученный на синтетических данных

ArXiv:2611.13811

Antalia-2 Mini показывает, насколько компактным может быть одноголосый синтез турецкой речи при тщательно подготовленных синтетических данных. Особенно полезен подробный разбор неудач: главным ограничением разборчивости оказался не размер акустической модели, а несоответствие обучающих и генерируемых мел-спектрограмм на входе вокодера.

Метод. Система содержит 3,69 млн параметров акустического генератора и 3,93 млн вокодера, всего 7 620 931. Малый DiT обучается flow matching и shortcut-согласованности, что позволяет менять число шагов. По умолчанию восемь шагов с classifier-free guidance требуют 16 проходов генератора на кусок. Вокодер типа Vocos предсказывает амплитуду и фазу спектра, затем iSTFT даёт звук 48 кГц. Текст проходит турецкую нормализацию, делится на куски, к скрытым приставкам и окончаниям применяются обрезка и плавные границы.

Результаты. Выпуск 1.0.1 на 495 предложениях Freya-TR-Eval получает WER 1,09% и CER 0,220% по публичному конвейеру. На первых 100 предложениях Apple M5 CPU с двумя потоками RTF равен 0,024; пример первого куска содержит 2,8 секунды аудио и вычисляется за 72 мс. Стандартные FP32-веса занимают 30,5 МБ, браузерные графы 22,8 МБ плюс 14,2 МБ среды WASM. Эти объёмы не равны полной занятой оперативной памяти.

Ограничения. Один голос, один язык и синтетический учитель. Настройки подбирались с использованием данного теста, поэтому результат не является полностью слепой внешней проверкой. WER оценивает распознаватель, UTMOS обучен не как турецкая слушательская панель; полноценного теста слушателей нет. Нормализатор имеет известные ошибки, а перенос измерений между версиями и устройствами ограничен.

Фишка из статьи. На с. 14 разобраны семь пар предрелизных акустических контрольных точек. Дообучение вокодера преимущественно на сгенерированных мелах улучшает текстовую точность гораздо сильнее, чем дальнейшее обучение генератора с замороженным вокодером.

Семь пар, собственный протоколДо адаптации вокодераПосле адаптации
Средний WER, %3,891,75
Средний CER, %0,9840,385
UTMOS2,452,93

Как это читать: В парах акустические точки отстоят на 1000–4000 шагов, поэтому это не идеально изолированная абляция. Но замороженный контроль остаётся на WER 3,63–4,14% при продолжении обучения генератора. Практический вывод: прежде чем увеличивать модель синтеза, проверить согласование распределения признаков с вокодером. Эти числа относятся к раннему протоколу, не к финальному WER 1,09%.

Источник. Оригинальное название: Antalia-2 Mini: A 7.6-million-parameter Turkish text-to-speech model trained entirely on synthetic speech. arXiv:2611.13811; полный текст PDF.

Оригинальная статья на arXiv