CLASVS: редактирование текста песни с сохранением мелодии

CLASVS решает специфическую, но технически ценную задачу: заменить слова в уже исполненной песне, сохранив мелодию, тайминг и голос певца без нотной разметки. Конфликт здесь жестче, чем в обычном синтезе: референс несет старые слова, а управление требует новых. Авторы предлагают continuous-latent autoregression, где целевой текст и мелодия остаются persistent control, а прошлый акустический patch используется как локальный transition.

Метод. State-Control-Transition contract разделяет три потока. Target lyrics и reference melody сохраняются в cache планировщика как Control. Замороженный causal semantic encoder возвращает feedback как State, а предыдущий continuous AudioVAE latent patch передает локальную акустическую динамику как Transition. PSCG обучает эту схему без paired counterfactual edit recordings: модель видит реконструкцию исходного исполнения, но через history dropout, melody masking и curriculum учится не копировать старый текст при будущей правке.

Результаты. На 320 Mandarin edits CLASVS снижает macro-PER до 0.0376 против 0.0699 у discrete-AR Vevo2 и 0.0411 у YingMusic-Singer-Plus. При этом FPC равен 0.9410, singer SIM 0.914, voiced-onset MAE 7.68 ms, а listener scores составляют N-MOS 4.13, M-MOS 4.28 и L-MOS 4.42. Цена - скорость: RTF 5.858/5.380 против 2.060/1.197 у Vevo2 и 0.594/0.226 у YingMusic+.

Ограничения. Оценка ограничена Mandarin edits длиной 2-6 syllables, а cross-lingual и длинные правки остаются открытыми. Метод явно ориентирован на offline use: RTF выше, чем у сравниваемых систем. Кроме того, технология recognizable-voice editing имеет риск злоупотреблений, и авторы отдельно обсуждают permissions, opt-out и traceability.

Фишка из статьи. Абляция SCT/PSCG показывает, какая часть состояния за что отвечает. Удаление semantic feedback сильнее бьет по тексту и source reversion, а удаление latent-patch route особенно портит melody FPC.

Как это читать: разные маршруты не являются декоративными. Semantic feedback нужен, чтобы не возвращаться к старым словам, а latent patch route удерживает мелодическую непрерывность; объединение всего в один AR-контекст хуже обеих специализированных ролей.