EmoFI-TTS: управление силой эмоции синтезированной речи по выражению лица
EmoFI-TTS задаёт эмоцию и её силу одиночным изображением лица, а личность голоса берёт из независимого звукового образца. После обычного синтеза отдельный модуль усиливает недостаточно выраженные эмоциональные признаки спектрограммы. Работа интересна разделением источников управления, но также показывает, почему автоматическую оценку естественности нельзя считать заменой прослушиванию.
Метод. ResNet-50 обучается извлекать выражение лица с опорой на emotion2vec и дополнительные классы эмоции и силы. Замороженный ECAPA-TDNN формирует тембровое представление. Их объединение управляет FastSpeech2. В половине обучающих примеров лицо заменяется лицом другого человека с той же эмоциональной меткой, чтобы визуальная личность не подменяла голосовой образец. Уточнение мел-спектрограммы вводится остаточным свёрточным модулем для средних и сильных уровней; спокойная речь обходится без него, чтобы не становиться чрезмерно энергичной.
Результаты. На разделённом по дикторам MEAD точность определения силы синтетической эмоции равна 64,4% по распознавателю и 75,2% по слушателям. Для наиболее сильного уровня модуль повышает объективную точность с 48,9 до 74,1%; при истинной, а не предсказанной метке уровня достигается 76,5%. WER составляет 6,9% против 6,6% на реальной речи. Оценка MOS равна 3,25±0,26, ниже 3,98±0,20 у настоящих записей.
Ограничения. Используется постановочный корпус эмоций, после исключений 18 270 реплик и лишь 141 каноническое предложение. Две эмоциональные категории удалены; перенос на повседневные выражения лица не проверен. Эталоны получены исправлением Whisper по ограниченному списку предложений. Автоматический классификатор силы сам плохо распознаёт средний уровень даже у настоящей речи. Сравниваемые системы переоборудованы из соседних задач и имеют разные входные условия.
Фишка из статьи. Таблица 1 содержит важное расхождение измерителей: UTMOS ставит синтетический звук выше реального, тогда как люди по MOS дают обратный порядок.
| Материал | UTMOS | Слушательская MOS с 95% интервалом |
|---|---|---|
| Реальная речь MEAD | 2,86 | 3,98 ± 0,20 |
| EmoFI-TTS | 3,14 | 3,25 ± 0,26 |
Как это читать: предсказатель может предпочитать акустически ровный синтетический сигнал выразительной реальной записи. Это не доказательство, что синтез стал естественнее человека, и не основание смешивать абсолютные шкалы UTMOS и MOS. Прослушивание 15 аннотаторами здесь не просто дополнительная иллюстрация: оно меняет интерпретацию основного автоматического показателя качества.
Источник. Оригинальное название: EmoFI-TTS: Face-Conditioned Expressive Voice Synthesis with Intensity Modulation. arXiv:2610.30477; полный текст PDF.