BARS: синтез рэпа с адаптацией к ритму на основе Flow Matching
BARS генерирует рэп-вокал по тексту, аккомпанементу и трёхсекундному образцу голоса, не требуя фонемных длительностей. Главная трудность — не только попасть в ритм, но и не пропустить слова, когда плотность текста не соответствует привычному темпу. Авторы меняют позиционную структуру перекрёстного внимания, чтобы сильная ритмическая подсказка не вытесняла текст.
Метод. Звук переводится в непрерывное пространство предварительно обученного музыкального VAE. ByT5 кодирует текст на уровне байтов, небольшой Transformer-адаптер согласует его с акустикой. Asymmetric Scaled RoPE растягивает позиции текстовых ключей пропорционально отношению длины аудио к длине текста, оставляя аудиопозиции обычными. Маскирование интервалов обучает локальное перегенерирование. Генератор примерно на 200 млн параметров обучен на 1500 часах английского рэпа; используется 25 шагов Euler.
Результаты. На согласованных текстах и аккомпанементах WER равна 5,1%, столько же даёт распознавание настоящего вокала; без A-RoPE это 6,0%. Удаление и адаптера, и A-RoPE увеличивает ошибку до 37,7%. На RTX 4090 полный тракт, включая текстовый кодировщик и VAE, имеет RTF 0,027 для десятисекундного примера. В субъективной проверке MOS ритмической подачи составляет 3,51 против 3,34 без A-RoPE; различие по общей звуковой оценке статистически не подтверждается.
Ограничения. Обучение и систематическая оценка ограничены английским, а вывод длиннее 60 секунд не проверен. В прослушивании 40 человек оценивали только по 15 примеров каждой модели, заранее отобранных с WER ниже 5% у обеих систем. Поэтому этот MOS описывает подачу на удачных случаях, а не среднее качество всего вывода. VAE используется как скрытое представление, без заявленного битового потока или измеренного битрейта.
Фишка из статьи. Таблица 2 случайно сочетает чужие тексты и ритмические дорожки. В таком стресс-тесте позиционное ограничение полезнее, чем можно предположить по небольшой разнице 5,1 против 6,0% на согласованных данных.
| Плотность текста относительно обучения | WER без A-RoPE, % | WER с A-RoPE, % |
|---|---|---|
| На 2σ ниже средней | 33,6 | 20,5 |
| Около средней | 22,0 | 12,3 |
| На 2σ выше средней | 26,9 | 15,4 |
Как это читать: при слишком медленном тексте чаще возникают вставки, при слишком плотном — удаления. Средняя плотность обучения равна 17,9 символа/с, σ — 2,9. Таким образом, A-RoPE помогает сохранять покрытие последовательности при конфликте условий, но даже с ним крайние режимы заметно хуже обычного согласованного теста.
Источник. Оригинальное название: BARS: Beat-Adaptive Rap Synthesis via Flow Matching. arXiv:2611.12061; полный текст PDF.