Пение Преобразование голоса Управление просодией
arXiv cs.SD

ProSing: локальное управление вокальными приёмами для незнакомых певцов

ArXiv:2611.19223

ProSing меняет отдельные участки существующей вокальной записи: добавляет дыхательное звучание, фальцет, вибрато или глиссандо, стараясь сохранить слова, мелодию, время и певца. Главное изменение касается обучения: модель не должна подсматривать требуемый приём в акустическом условии вместо выполнения явной команды. Для высотных приёмов бинарной метки оказывается недостаточно, поэтому задаётся непрерывная траектория.

Метод. Основа Vevo1.5 сохраняет замороженные признаки Whisper и chromagram, токенизатор 12,5 Гц и Vocos; токены разворачиваются в условие 50 Гц для дообучаемого flow matching. В паре обычного и специального исполнения обе ветви получают содержание обычной записи. Для специальной ветви оно интерполируется во времени по фонемным границам и выравниванию Левенштейна. Голосовая подсказка берётся из другой обычной записи того же певца, что уменьшает утечку приёма. Четыре тембровые техники задаются покадровыми метками; вибрато — траекторией pYIN после удаления медленного движения и фильтрации 3–9 Гц, глиссандо — разностью согласованных траекторий. На применении условие берётся из исходной записи, а изменяемая техника — из явного управления; используется 32 шага Euler.

Техника задаётся явно, а не подсматривается в целевых токенах. Обычное исполнение → токены: 12,5 Гц → условие 50 Гц; не токены целевой техники. Фонемное выравнивание: Новое: интерполяция обычного условия во время целевого. Парное исполнение с техникой: Тот же певец, слова и основная мелодия; обучающий эталон. Явная техника по кадрам: Новое: 4 тембровые метки + траектории вибрато/глиссандо. Дообучаемый Flow Transformer: Новое: обычное содержание + техника + другой образец певца. Mel → замороженный Vocos: Применение: исходная песня + локальные команды; 32 Euler.
Схема по материалам статьи, рисунок 1, разделы 3.1–3.2 и таблица 2. Показана техника-ветвь парного обучения; обычная ветвь и сумма потерь опущены. Пунктир: обучающая временная привязка к специальному исполнению. При применении берутся токены исходной записи без этой привязки. Токенизатор, Whisper/chromagram и вокодер заморожены; непрерывные траектории не заменяются бинарными метками.

Результаты. Адаптация использует GTSinger, 80,59 ч / 20 певцов / 9 языков, и дополнительные 53,06 ч для сохранения обобщения. На незнакомых певцах субъективная естественность равна 3,36±0,22 против 2,41±0,28 у Vevo1.5, сходство певца 3,13±0,22 против 2,68±0,25. В китайском поднаборе CER 27,6% против 39,5%; сама исходная запись имеет CER 23,5%, поэтому преобразование всё же теряет часть содержания. Для 24 тембровых примеров ошибка F0 равна 166,7 цента против 332,8. Эти показатели не доказывают неизменность мелодии в каждом случае.

Ограничения. Слуховой тест включает 28 участников, объективные срезы малы. Сравниваемый TCSinger получает автоматически извлечённую партитуру и работает в иной постановке, поэтому его сильное отставание нельзя приписать только предложенному обучению. Оценщик STARS сам плохо распознаёт некоторые высотные приёмы: F1 0,380 для вибрато и 0,534 для глиссандо на реальных данных. Парные записи и фонемные границы дороги; причинный поток, RTF и задержка не проверены. Преобразование одного уже выраженного приёма в другой оставлено на будущее.

Фишка из статьи. Последние строки таблицы 2 показывают реальный компромисс: дополнительные певческие данные возвращают сходство личности, но ослабляют выполнение техники. Следовательно, более высокое качество сохранения голоса не равно лучшей управляемости. Это последовательные конфигурации абляции, не независимые одинаковые по бюджету запуски.

ВариантF1 одной техникиF1 нескольких техникSpkSim
Только метки, начальная адаптация0,1430,1170,753
Парное обучение + выравнивание0,3890,2280,533
Траектории + более долгое обучение0,4390,2910,521
Плюс дополнительные певческие данные0,3740,2160,631

Как это читать: высокий SpkSim начального варианта отчасти сопровождает слабое изменение исходного исполнения. Для рабочего редактора полезнее раздельно контролировать точность команды, сохранение личности и искажение слов/высоты, чем свести их к одному баллу.

Источник. Оригинальное название: ProSing: Zero-Shot Fine-Grained Singing Technique Conversion. arXiv:2611.19223; полный текст PDF.

Оригинальная статья на arXiv