GEPARD - Generative, Prosody-aware, Autoregressive text-to-speech model for Realtime Dialogue

GEPARD — авторегрессионный синтезатор примерно на 556 млн параметров, рассчитанный на потоковые диалоги и выразительную просодию. Наиболее полезная часть работы не рекордная средняя метрика, а подробный разбор отказов на очень коротких фразах, где модель легко зацикливается или не успевает начать речь.

Метод. Модифицированная Qwen3.5 предсказывает группы токенов GroupFSQ, а звуковой кодировщик с Q-Former связывает их с речью. После обычного обучения авторы проводят несколько раундов DPO по предпочтениям, явно штрафуя повторения, зависания и неверный пол говорящего. Потоковый сервер объединяет запросы в динамические пакеты.

Результаты. На коротких запросах доля чистых генераций растёт с 26,8% после SFT до 67,1% после третьего DPO, WER падает с 5,76% до 1,56%, а зацикливания и тайм-ауты вместе сокращаются примерно с 55% до 5%. На SeedTTS WER равен 3,6%, NISQA 4,25, но сходство голоса лишь 0,585. На RTX PRO 6000 один поток имеет TTFB 46 мс и RTF 0,067; при 128 одновременных запросах — 342 мс и 0,710.

Ограничения. Третий раунд DPO хуже переносится вне обучающих запросов, поэтому авторы фактически выбирают второй. Проверка SeedTTS начинается с трёх слов и скрывает проблему одно- и двухсловных реплик. Неанглийские данные несбалансированы, а абляции архитектуры ограничены.

Фишка из статьи. Редкий отрицательный результат: дополнительный раунд обучения по предпочтениям чинит короткие фразы внутри набора, но ухудшает перенос, поэтому самая высокая табличная цифра не становится итоговой моделью.

Как это читать: локальная оптимизация отказов продолжает улучшать контрольный набор после того, как начинает портить внешние случаи. Для диалогового синтеза ранняя остановка обучения важнее ещё нескольких пунктов внутреннего успеха.