Antalia-2 Mini: турецкий синтез речи с 7,6 млн параметров, обученный на синтетических данных
Antalia-2 Mini показывает, насколько компактным может быть одноголосый синтез турецкой речи при тщательно подготовленных синтетических данных. Особенно полезен подробный разбор неудач: главным ограничением разборчивости оказался не размер акустической модели, а несоответствие обучающих и генерируемых мел-спектрограмм на входе вокодера.
Метод. Система содержит 3,69 млн параметров акустического генератора и 3,93 млн вокодера, всего 7 620 931. Малый DiT обучается flow matching и shortcut-согласованности, что позволяет менять число шагов. По умолчанию восемь шагов с classifier-free guidance требуют 16 проходов генератора на кусок. Вокодер типа Vocos предсказывает амплитуду и фазу спектра, затем iSTFT даёт звук 48 кГц. Текст проходит турецкую нормализацию, делится на куски, к скрытым приставкам и окончаниям применяются обрезка и плавные границы.
Результаты. Выпуск 1.0.1 на 495 предложениях Freya-TR-Eval получает WER 1,09% и CER 0,220% по публичному конвейеру. На первых 100 предложениях Apple M5 CPU с двумя потоками RTF равен 0,024; пример первого куска содержит 2,8 секунды аудио и вычисляется за 72 мс. Стандартные FP32-веса занимают 30,5 МБ, браузерные графы 22,8 МБ плюс 14,2 МБ среды WASM. Эти объёмы не равны полной занятой оперативной памяти.
Ограничения. Один голос, один язык и синтетический учитель. Настройки подбирались с использованием данного теста, поэтому результат не является полностью слепой внешней проверкой. WER оценивает распознаватель, UTMOS обучен не как турецкая слушательская панель; полноценного теста слушателей нет. Нормализатор имеет известные ошибки, а перенос измерений между версиями и устройствами ограничен.
Фишка из статьи. На с. 14 разобраны семь пар предрелизных акустических контрольных точек. Дообучение вокодера преимущественно на сгенерированных мелах улучшает текстовую точность гораздо сильнее, чем дальнейшее обучение генератора с замороженным вокодером.
| Семь пар, собственный протокол | До адаптации вокодера | После адаптации |
|---|---|---|
| Средний WER, % | 3,89 | 1,75 |
| Средний CER, % | 0,984 | 0,385 |
| UTMOS | 2,45 | 2,93 |
Как это читать: В парах акустические точки отстоят на 1000–4000 шагов, поэтому это не идеально изолированная абляция. Но замороженный контроль остаётся на WER 3,63–4,14% при продолжении обучения генератора. Практический вывод: прежде чем увеличивать модель синтеза, проверить согласование распределения признаков с вокодером. Эти числа относятся к раннему протоколу, не к финальному WER 1,09%.
Источник. Оригинальное название: Antalia-2 Mini: A 7.6-million-parameter Turkish text-to-speech model trained entirely on synthetic speech. arXiv:2611.13811; полный текст PDF.