Преобразование интенсивности голоса с непрерывным управлением уровнем SPL
Работа управляет не абстрактной «громкостью», а требуемым уровнем звукового давления SPL в преобразованном голосе. Интересна она сравнением трёх представлений: модель должна менять усилие говорящего и связанные с ним спектральные признаки, сохраняя слова и личность.
Метод. Непараллельный состязательный преобразователь с циклической согласованностью получает непрерывное условие в децибелах. Сравниваются логарифмические мел-спектрограммы, шестой слой WavLM и дискретные признаки SpeechTokenizer. Корпус AVID содержит 17,94 часа калиброванной речи 50 дикторов; 4786 преобразований оценены по SPL, RMS, F0, F1, спектральному наклону, WER и UTMOS.
Результаты. WavLM лучше всего следует заданному уровню: наклон регрессии преобразованного SPL равен 0,83 против 0,62 для мел-спектрограмм и 0,58 для SpeechTokenizer. WER составляет 8,3%, а UTMOS — 2,89; у мел-варианта 13,6% и 2,60. В опыте с 54 слушателями наклон воспринимаемого уровня для WavLM равен 0,69 (95%-й интервал 0,60–0,78), почти как 0,68 у естественных записей.
Ограничения. Диапазон целевого SPL в 30 дБ субъективно сжимается примерно до 21 дБ, а абсолютный результат зависит от исходного диктора со стандартным отклонением около 6 дБ. Корпус мал и специально записан с калибровкой; качество преобразованной речи заметно ниже повторного синтеза исходников.
Фишка из статьи. Наилучшее следование SPL не совпадает с наивысшей автоматической оценкой естественности.
| Представление | Наклон SPL | WER | UTMOS |
|---|---|---|---|
| Log-mel | 0,62 | 13,6% | 2,60 |
| WavLM | 0,83 | 8,3% | 2,89 |
| SpeechTokenizer | 0,58 | 15,5% | 3,07 |
Как это читать: дискретный кодек получает лучшую UTMOS, но слабее передаёт непрерывное физическое управление и чаще искажает слова. Для управляемого синтеза одной метрики качества недостаточно.
Источник: arXiv:2610.13608. Оригинальное название: Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training.