E3-System: выразительный набор EmoData, явное управление и простой синтез речи
E3-System связывает текстовое описание манеры речи с реальным акустическим образцом, а затем переносит стиль на голос другого диктора. Важный технический ход — не заставлять синтезатор угадывать просодию непосредственно из слов «сердито» или «тихо»: Style-RAG сначала находит подходящую запись в тысячечасовом EmoData, а Dual-TTS раздельно получает образцы тембра и стиля.
Метод. EmoData содержит 1012 часов речи 5681 диктора на шести языках и шесть эмоциональных категорий. Для обучения раздельному управлению авторы создают псевдоцели преобразованием голоса и специально исключают утечки тембра, содержания и стиля между образцами. Двухступенчатый авторегрессионный генератор строит семантические и акустические токены; текстовый запрос к Style-RAG превращается в акустическую стилевую подсказку.
Результаты. Дообучение на очищенном EmoData даёт WER 2,98%, сходство диктора 73,04 и сходство стиля 78,63 против 3,21%, 71,33 и 71,21 на сырых данных. В режиме разных дикторов для тембра и стиля вариант без RAG достигает WER 2,51 и SIM-Style 89,22; с текстовым RAG — 2,93 и 86,33, сохраняя SN-MOS 3,96. Ускоренный авторегрессионный тракт с двукратным прореживанием работает в 1,8 раза быстрее базового.
Ограничения. Текстовый поиск немного уступает вручную заданной стилевой записи, а шесть категорий не исчерпывают непрерывную просодию. Основная проверка разделения тембра и стиля использует 300 пар LibriTTS; A/B-проверка корпуса — 15 слушателей. Не показаны задержка полного Style-RAG-контура, перенос на разговорные ошибки и поведение для стилей вне EmoData.
Фишка из статьи. Простое состязательное разделение признаков оказывается намного слабее правильно построенных обучающих пар без утечек.
| Система | WER | SIM диктора | SIM стиля | SM-MOS |
|---|---|---|---|---|
| E3 с GRL-разделением | 3,08% | 59,02 | 72,50 | 3,61 |
| E3 с прямой стилевой записью | 2,51% | 70,15 | 89,22 | 4,08 |
| E3 с текстом и Style-RAG | 2,93% | 69,08 | 86,33 | 3,97 |
Как это читать: основная прибавка приходит не от штрафа, который пытается вычесть личность из стиля, а от данных, где тембр и стиль действительно разведены. RAG немного теряет точность, зато даёт естественное текстовое управление без ручного поиска записи.
Источник: arXiv:2610.12993. Оригинальное название: E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS.