TTS-Q: посттренировочное квантование диффузионных трансформеров синтеза речи с учётом восприятия
TTS-Q исследует четырёхбитное квантование весов и активаций диффузионных трансформеров синтеза речи на 1 и 3,5 млрд параметров. Ключевая проблема специфична для клонирования голоса: текст уже распознаётся почти без потерь, а сходство диктора всё ещё падает, поэтому точность перераспределяется к последним FFN-шагам при том же номинальном бюджете битов.
Метод. Из 96 калибровочных фраз выбираются 32 с наибольшей ошибкой восстановления, а статистика собирается на последних шагах 13 и 14. Веса остаются W4; у TTS-Q активации FFN последних пяти шагов имеют A9, остальные — A3, что даёт в среднем 4,000/3,947 бита для моделей 1B/3,5B.
Результаты. На 1B прямое W4A4-округление разрушает разборчивость: CER/WER 104,6/101,4/149,7% для zh/hard/en. FlatQuant с отбором по ошибке восстанавливает 1,191/6,765/2,155%, а TTS-Q — 1,205/6,752/2,156% и повышает SIM в пяти из шести сочетаний масштаба и набора. На 3,5B TTS-Q восстанавливает 80% суммарного дефицита сходства диктора относительно полного формата; на 1B — 34%.
Ограничения. Результаты — точечные оценки без доверительных интервалов и субъективного теста тембра. Смешанный A9/A3-путь TTS-Q не измерен по скорости и памяти; эксплуатационные цифры относятся к равномерному FlatQuant W4A4 на A100, а не к мобильному устройству.
Фишка из статьи. INT4 даёт устойчивую экономию памяти, но не гарантирует ускорения: накладные расходы малых квантованных операций доминируют на коротком выходе.
| Масштаб и выход | RTF FP32 | RTF W4A4 | Память FP32/W4A4 |
|---|---|---|---|
| 1B, 1,37 с | 0,359 | 0,777 | 5,90/2,82 ГБ при 5,12 с |
| 1B, 13,31 с | 0,074 | 0,097 | те же 2,1× |
| 3,5B, 1,37 с | 1,028 | 1,136 | 15,83/4,44 ГБ при 5,12 с |
| 3,5B, 13,31 с | 0,221 | 0,154 | 3,6× меньше |
Как это читать: на длинном выходе 3,5B W4A4 ускоряется в 1,439 раза, но на всех трёх длинах 1B медленнее FP32. Реальный стабильный выигрыш текущей реализации — память, а скорость зависит от масштаба и длины.
Источник: arXiv:2610.12474. Оригинальное название: TTS-Q: Perception-Guided Post-Training Quantization of Text-to-Speech Diffusion Transformers.