TransDubber: перевод речи с сохранением исходной длительности и внутренних пауз

Для дубляжа недостаточно закончить перевод вовремя: паузы и участки речи тоже должны попадать в нужные моменты сцены. TransDubber обучает это поведение по целевым звуковым дорожкам, заранее уложенным в исходную временную сетку. При генерации не нужен отдельный покадровый регулятор длительности или последующее растяжение всей записи.

Метод. Qwen3-ASR-1.7B расширяют 6561 символом речевого кодека с частотой 25 Гц. После исходной транскрипции модель чередует пять текстовых и десять звуковых токенов, затем декодирует звук через согласование потоков. В обучающем наборе 642 тыс. англо-китайских пар: паузы от 0,5 с задают границы исходных окон, перевод и синтез подбирают под их длительность. Сначала осваиваются текст и естественный синтез, затем синхронный звук. На последней стадии независимые награды за смысл, длительность и паузы направляются к соответствующим текстовым либо звуковым токенам.

Результаты. На 4353 фрагментах CoVoST2 и GigaSpeech доля выходов с ошибкой длительности не более 2% достигает 61,5% против 25,6% у UniSS, а F1 совпадения пауз — 0,550 против 0,118. COMET практически одинаков: 0,788 и 0,784. Люди оценивают качество перевода в 3,63 и естественность в 3,47 из 5, но каскад остаётся лучше по смыслу и естественности: 3,97 и 3,93. Строгая временная привязка здесь имеет измеримую цену.

Ограничения. Проверено только направление английский → китайский и короткие фрагменты; синхронизация не равна совпадению движения губ. Основные автоматические показатели смысла вычисляются по задуманному тексту, а не по повторному распознаванию звука. Часть эталонных переводов GigaSpeech получена моделью и проверена экспертами. Метод авторегрессионный, но полноценная задержка потокового перевода не установлена; исходный звуковой материал нужен для построения транскрипции и временных опор.

Фишка из статьи. В таблице 4 авторы вмешиваются только в маркеры пауз исходной транскрипции. Отсутствие маркеров слабо меняет попадание в общий хронометраж и даже чуть повышает COMET, но резко ухудшает локальную синхронизацию.

Как это читать: общая длительность и структура пауз — разные требования. Почти прежний Dur@2% может скрывать двукратное сокращение числа пауз. Сдвиг маркеров почти не меняет их количество, но ухудшает F1, что связывает эффект именно с местоположением, а не только с частотой молчания.

Источник. Оригинальное название: Learning Timeline-Preserving Speech-to-Speech Translation. arXiv:2611.00690; полный текст PDF.