Речевой перевод Синтез речи Оценка задержки
arXiv cs.CL

Как группировка текста меняет сравнение задержек длинного синхронного речевого перевода

ArXiv:2611.12501

Два переводчика с одинаковым синтезатором могут получить несопоставимые задержки, если передают в него текст разными порциями. Работа фиксирует готовые текстовые обновления и времена их появления, меняя только правила группировки перед синтезом. Выясняется, что ожидание четырёх секунд увеличивает преимущество одного переводчика с XTTS-v2, но уменьшает его с Piper.

Метод. Сравниваются StreamAtt и его вариант с фиксированной историей аудио на английско-немецких докладах MuST-C. Сохранённые потоки обновлений воспроизводятся заново; в каждом потоке текст неизменен при разных правилах группировки. Отдельно учитываются длительность созданного аудио, время пустой очереди воспроизведения и окончание вывода относительно конца исходной записи. Основной набор содержит десять докладов, подтверждающий — ещё двадцать. XTTS и Piper используют разные голоса и оборудование, поэтому межмодельные цифры не являются сравнением чистой скорости архитектур.

Результаты. На десяти докладах среднее преимущество StreamAtt по окончанию воспроизведения с XTTS расширяется со 106,58 до 229,08 с; с Piper сокращается со 169,46 до 146,46 с. На двадцати новых докладах направления сохраняются: со 118,63 до 224,92 с и со 118,23 до 84,12 с. Средний порядок переводчиков не меняется, меняется размер заявленного преимущества. Начало звучания при группировке откладывается примерно на 4–5 с.

Ограничения. Проверены один языковой маршрут, один переводческий контрольный файл и по одному голосу синтезаторов. Меньшая длительность вывода не доказывает лучшего перевода: человеческой проверки сохранения содержания нет. Ошибки повторного распознавания — лишь автоматическая диагностика синтеза, не оценка перевода относительно исходной речи. Воспроизведение готовых потоков также не учитывает обратную связь и конкуренцию вычислений реального приложения.

Фишка из статьи. Таблица 2 показывает смену направления эффекта на независимой подтверждающей панели. Здесь приведён положительный размер преимущества StreamAtt; в оригинальной таблице разность завершений имеет отрицательный знак.

Панель / синтезаторБез ожидания, сГруппировка 4 с, сИзменение преимущества, с
10 докладов / XTTS-v2106,58229,08+122,50
10 докладов / Piper169,46146,46−23,01
20 докладов / XTTS-v2118,63224,92+106,29
20 докладов / Piper118,2384,12−34,11

Как это читать: укорочение аудио не всегда ускоряет финал: дополнительное ожидание готовых блоков может съесть выигрыш. В продолжающихся сессиях CosyVoice3 одинаковая волна вообще сохраняется, а группировка задерживает завершение в 19 из 20 пар. Поэтому в протоколе задержек нужно фиксировать не только название синтезатора, но и правила подачи текста, завершения потока и воспроизведения.

Источник. Оригинальное название: Text Grouping Changes Completion-Time Comparisons in Long-Form Simultaneous Speech Translation. arXiv:2611.12501; полный текст PDF.

Оригинальная статья на arXiv