Выразительный речевой перевод с согласованием содержания, просодии, времени и голоса

Профессиональный дубляж согласует смысл и выразительность, но меняет исполнителя. Авторы преобразуют голос только на входной стороне обучающей пары, сохраняя целевое исполнение человеком, и получают VC-DUB. Работа проверяет, помогает ли совместное согласование нескольких свойств переводу, а не только копированию тембра.

Метод. Немецкие и испанские оригинальные дорожки сопоставляются с английским дубляжом по смыслу, очищаются от помех и многоголосия. Seed-VC переносит голос оригинального актёра на английский дубляж; затем перевод обучается в обратном направлении, из преобразованного английского в исходную человеческую немецкую или испанскую речь. DirectS2ST использует замороженный w2v-BERT 2.0, временной декодер и декодер глубины для всех 16 потоков Mimi с кодовыми книгами по 2048 элементов. Остальные уровни предсказываются параллельно по времени, но последовательно по кодовым книгам. Модель содержит 1,2 млрд параметров; сквозной битрейт и потоковая задержка не установлены.

Результаты. VC-DUB содержит 131399 английско-немецких и 79200 английско-испанских пар. На независимом mExpresso по 504 примера в каждом направлении DirectS2ST повышает ASR-BLEU с 6,01 до 10,52 для немецкого и с 10,00 до 14,22 для испанского относительно обучения на CVSS-T. Испанский MOS выразительности увеличивается с 2,13 [1,93; 2,33] до 3,42 [3,20; 3,64]. Это наибольший прирост среди проверенных систем, но не наибольший абсолютный MOS: у Dub-S2ST с VC-DUB он равен 3,59.

Ограничения. Слушательский тест мал: девять участников и десять исходных английско-испанских фраз. Корпус нельзя опубликовать из-за лицензирования телематериала, хотя доступны код и параметры обработки. Системы имеют разное предобучение; более слабый абсолютный перевод DirectS2ST не объясняется только данными. Проверены два направления из английского. Сохранение содержания при преобразовании оценивается сравнением двух ASR-выходов без ручного текста, а не доказанной нулевой ошибкой. RTF и работа в реальном времени не измерены.

Фишка из статьи. Таблица 4 сравнивает одни и те же дубляжные пары с преобразованием голоса и без него. Это точнее выделяет роль голосового согласования, чем сравнение с другим корпусом.

Как это читать: тембр, просодия и темп выигрывают в обоих направлениях, но испанский ASR-BLEU слегка снижается. Следовательно, преобразование не является универсальным усилителем перевода: оно прежде всего устраняет противоречие личности в обучающей паре. Преобразование только источника также оставляет цель без новых артефактов VC, хотя предварительная очистка человеческих дорожек уже выполняется.

Источник. Оригинальное название: Holistic Parallel Supervision for Expressive Speech to Speech Translation. arXiv:2611.06010; полный текст PDF.