X-Dubbing: перевод и озвучивание видео с согласованием темпа, пауз и движения губ
X-Dubbing рассматривает дубляж как совместный выбор перевода и его произнесения под временные ограничения исходного видео. Переводчик выдаёт сценарий с паузами, а синтезатор получает покадровые ограничения и движения губ. Существенная идея состоит в обратной связи от уже озвученных кандидатов: удобный на бумаге перевод может оказаться плохим сценарием для синтеза.
Метод. Dubbing Translator на базе Qwen2.5-Omni-3B адаптируется через LoRA и аудиопроектор. При SFT временной бюджет нормируют с учётом числа слогов и средних темпов двух языков. X-Voice использует заданную длину, покадровые паузы и зрительные признаки SyncNet через FiLM; оба дополнительных условия иногда отключают при обучении. Затем переводы многократно озвучивают замороженным Voice Actor и строят предпочтения по качеству перевода, темпу и синхронизации губ, с обязательным совпадением числа пауз. DPO использует 7752 пары из обучающей части mTEDx. Парных эталонов готового дубляжа для такого обучения не требуется.
Результаты. На mTEDx Fr→En получены ASR-BLEU 42,34, chrF++ 64,06, сходство голоса 0,497 и Pause IoU 0,551. У 97,1% фрагментов длительность активной речи укладывается в ±20% исходной, у 100% в ±40%. UTMOS равен 3,748, что ниже 3,864 у Hibiki: улучшение синхронизации не означает победы по всем шкалам звучания. Обучение переводчика использует 14,9 часа и 11092 коротких фрагмента; актёр отдельно обучается на примерно 200 часах LRS3.
Ограничения. Основная проверка ограничена французско-английскими фрагментами длиной 2–10 секунд. Человеческая оценка включает лишь 12 фрагментов и 15 участников. Признаки SyncNet участвуют и в управлении, и в автоматической оценке синхронизации, что требует осторожности при переносе на независимое восприятие. Создание предпочтений требует многократного синтеза, хотя рабочая система не обязана повторять этот поиск. Полноценный дубляж фильма со сменой кадров и персонажей здесь не проверен.
Фишка из статьи. Сравнение каскадов в таблице 2 показывает конфликт локального совпадения пауз и качества целого фрагмента. У LSE-C больше лучше, у LSE-D меньше лучше.
| Система | ASR-BLEU | Pause IoU | LSE-C | LSE-D |
|---|---|---|---|---|
| Обычный каскад | 41,93 | 0,129 | 1,61 | 12,94 |
| Каскад по сегментам | 38,61 | 0,578 | 1,51 | 12,45 |
| Каскад с перефразированием | 26,81 | 0,139 | 2,30 | 12,19 |
| X-Dubbing | 42,34 | 0,551 | 2,58 | 11,30 |
Как это читать: сегментный каскад даже лучше совпадает по паузам, чем X-Dubbing, но теряет перевод и синхронизацию губ. Перефразирование улучшает некоторые показатели губ ценой очень сильной потери BLEU. Поэтому одна метрика длительности или пауз не определяет качество дубляжа; интерес работы в согласовании нескольких ограничений, а не в механическом растяжении звука.
Источник. Оригинальное название: X-Dubbing: Speech-to-Speech Translation under Temporal and Visual Constraints. arXiv:2610.32042; полный текст PDF.