Как группировка текста меняет сравнение задержек длинного синхронного речевого перевода
Два переводчика с одинаковым синтезатором могут получить несопоставимые задержки, если передают в него текст разными порциями. Работа фиксирует готовые текстовые обновления и времена их появления, меняя только правила группировки перед синтезом. Выясняется, что ожидание четырёх секунд увеличивает преимущество одного переводчика с XTTS-v2, но уменьшает его с Piper.
Метод. Сравниваются StreamAtt и его вариант с фиксированной историей аудио на английско-немецких докладах MuST-C. Сохранённые потоки обновлений воспроизводятся заново; в каждом потоке текст неизменен при разных правилах группировки. Отдельно учитываются длительность созданного аудио, время пустой очереди воспроизведения и окончание вывода относительно конца исходной записи. Основной набор содержит десять докладов, подтверждающий — ещё двадцать. XTTS и Piper используют разные голоса и оборудование, поэтому межмодельные цифры не являются сравнением чистой скорости архитектур.
Результаты. На десяти докладах среднее преимущество StreamAtt по окончанию воспроизведения с XTTS расширяется со 106,58 до 229,08 с; с Piper сокращается со 169,46 до 146,46 с. На двадцати новых докладах направления сохраняются: со 118,63 до 224,92 с и со 118,23 до 84,12 с. Средний порядок переводчиков не меняется, меняется размер заявленного преимущества. Начало звучания при группировке откладывается примерно на 4–5 с.
Ограничения. Проверены один языковой маршрут, один переводческий контрольный файл и по одному голосу синтезаторов. Меньшая длительность вывода не доказывает лучшего перевода: человеческой проверки сохранения содержания нет. Ошибки повторного распознавания — лишь автоматическая диагностика синтеза, не оценка перевода относительно исходной речи. Воспроизведение готовых потоков также не учитывает обратную связь и конкуренцию вычислений реального приложения.
Фишка из статьи. Таблица 2 показывает смену направления эффекта на независимой подтверждающей панели. Здесь приведён положительный размер преимущества StreamAtt; в оригинальной таблице разность завершений имеет отрицательный знак.
| Панель / синтезатор | Без ожидания, с | Группировка 4 с, с | Изменение преимущества, с |
|---|---|---|---|
| 10 докладов / XTTS-v2 | 106,58 | 229,08 | +122,50 |
| 10 докладов / Piper | 169,46 | 146,46 | −23,01 |
| 20 докладов / XTTS-v2 | 118,63 | 224,92 | +106,29 |
| 20 докладов / Piper | 118,23 | 84,12 | −34,11 |
Как это читать: укорочение аудио не всегда ускоряет финал: дополнительное ожидание готовых блоков может съесть выигрыш. В продолжающихся сессиях CosyVoice3 одинаковая волна вообще сохраняется, а группировка задерживает завершение в 19 из 20 пар. Поэтому в протоколе задержек нужно фиксировать не только название синтезатора, но и правила подачи текста, завершения потока и воспроизведения.
Источник. Оригинальное название: Text Grouping Changes Completion-Time Comparisons in Long-Form Simultaneous Speech Translation. arXiv:2611.12501; полный текст PDF.