StyleStream 2.0: быстрое потоковое преобразование стиля голоса с текстовым управлением
StyleStream 2.0 изменяет тембр, акцент и эмоцию исходной речи, сохраняя её слова, и добавляет текстовое создание и редактирование стиля. Главный практический шаг — малошаговая генерация вместе с обучением на собственном авторегрессионном продолжении. Это уменьшает задержку, но оставляет видимый компромисс между короткими блоками, разборчивостью и точностью стиля.
Метод. Преобразователь обучается как pixel MeanFlow, затем дообучается в режиме, близком к реальному потоковому выводу. Вместо мел-контекста целевой стиль передаётся через компактное представление, полученное perceiver-resampler. Отдельная текстово-условная flow-matching-модель отображает описание в стиль либо меняет заданный его атрибут. Основной преобразователь использует четыре вычисления поля против 12 у предыдущего потокового варианта.
Результаты. На RTX 4060 блок 300 мс с просмотром вперёд 80 мс обрабатывается за 140,7 мс, суммарная заявленная задержка — 520,7 мс. Сходство диктора в потоковом сравнении растёт с 0,842 до 0,866, акцента — с 0,656 до 0,684. Однако WER составляет 12,02% против 11,41% у StyleStream 1.0: ускорение и управление не улучшают каждый показатель одновременно. Офлайн-WER новой версии ниже, 7,00%.
Ограничения. Полсекунды задержки всё ещё заметны в интерактивном разговоре, а время на одной потребительской GPU нельзя считать универсальной гарантией. Текстовый тембровый интерфейс преимущественно задаёт возраст и пол, не весь набор качеств голоса. Модельные оценки атрибутов зависят от своих классификаторов. Высокое сохранение исходного стиля у сравнения может означать, что требуемое редактирование просто не выполнено, поэтому его нужно читать вместе с успешностью изменения.
Фишка из статьи. Таблица 2 позволяет выбирать размер блока по времени и ошибкам, а не только по минимальной задержке.
| Блок StyleStream 2.0 | Обработка блока, мс | WER, % | Сходство диктора |
|---|---|---|---|
| 160 мс | 130,5 | 14,02 | 0,860 |
| 200 мс | 132,0 | 13,22 | 0,863 |
| 300 мс | 140,7 | 12,02 | 0,866 |
Как это читать: увеличение доступного акустического контекста даёт заметный выигрыш содержания при сравнительно небольшом росте вычислительного времени, но ждать приходится дольше. Для блока 160 мс вычислительный запас уже узок. Это не одна «скорость модели»: у системы есть отдельные бюджеты накопления, просмотра вперёд и обработки, а выбранные 300 мс отражают компромисс, не теоретический минимум.
Источник. Оригинальное название: StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion. arXiv:2610.28940; полный текст PDF.