Синтез речи Клонирование голоса Потоковый вывод
arXiv cs.CL

Alania-2: синтез турецкой речи с мгновенным клонированием голоса и адаптацией LoRA

ArXiv:2611.13845

Alania-2 исследует турецкий синтез с несколькими голосами, текстовым управлением и клонированием по короткой записи. Важны не только 488 млн параметров, но и исправления реального тракта: способ использования голосового образца, совместное декодирование VAE и корректность кэша при разных голосовых адаптерах.

Метод. Модель обучается с нуля по архитектуре VoxCPM2, сохраняя её аудио-VAE; 488 млн относятся к модели без замороженного VAE. Корпус содержит 18 195 часов, примерно 90% синтетические. Непрерывные скрытые признаки предназначены для генерации звука, а не заявлены как самостоятельный компрессионный формат с известным битрейтом. Для мгновенного клона используется голосовой образец, для адаптированного добавляется LoRA по небольшому материалу. Сервер объединяет запросы, пакетно декодирует VAE и использует CUDA graphs для начальной обработки.

Результаты. Переключение с продолжения образца на режим только голосового референса вместе с проверками кусков снижает долю пропущенных слов с 21,9% до 1,7% на 200 потоках, а на чистых образцах до 0,18%. Это составное изменение, не чистая абляция режима. На четырёх голосах через сервер сходство адаптированного клона достигает 0,772 при CER 0,028 против 0,659 и 0,019 для мгновенного. На A100 пакетное декодирование VAE сокращает время шага для 96 потоков со 110 до 27 мс.

Ограничения. Только турецкий язык, большой вклад одного синтетического учителя, ограниченная субъективная проверка и часто один запуск. CER 0,028 означает 2,8%, а не 0,028%. Сходство ECAPA не заменяет восприятие слушателя. Образцы длиннее 30 секунд резко ухудшают клонирование; полные вычислительные затраты обучения не зафиксированы. Серверные времена без сети нельзя выдавать за задержку пользователя.

Фишка из статьи. Таблица 7 на с. 16 отделяет эффект двух инженерных изменений. Ускорение VAE улучшает пропускную способность, а предварительный проход в CUDA graph уменьшает время до первого аудио. Это разные части бюджета.

Изменение на A100 40 ГБПоказательДоПосле
Пакетный VAEШаг декодирования, 96 потоков110 мс27 мс
Пакетный VAEАудиосекунд/с, 48 потоков4174
CUDA graph prefillПервое аудио, 1 поток74 мс32 мс
CUDA graph prefillПервое аудио, 96 потоков143 мс94 мс

Как это читать: Ускорение одной части тракта нельзя переносить на всю систему: через API на этой машине первый звук фиксированного голоса приходит за 97 мс. Дополнительно авторы включили имя и отпечаток LoRA в ключ префиксного кэша, иначе одинаковый текст ошибочно переиспользовал состояния другого голосового режима. Оптимизация производительности должна проверяться и на правильность голоса.

Источник. Оригинальное название: Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning. arXiv:2611.13845; полный текст PDF.

Оригинальная статья на arXiv