SimPOTrans: переход от полного к синхронному переводу речи через обучение с подкреплением
Модель перевода целой записи можно научить выдавать перевод по мере поступления речи без заранее размеченных последовательностей «читать — писать». SimPOTrans сначала улучшает обычный перевод, затем поощряет удачные собственные продолжения на частичных записях. Частота выдачи регулируется размером входного блока, а не внешним алгоритмом решения о начале перевода.
Метод. Замороженный Whisper-large-v3, двухслойный связующий модуль и Qwen3-8B с LoRA предварительно учатся на CoVoST2. Первый GRPO-этап оптимизирует XCOMET по полной реплике; второй замораживает и связующий модуль, оставляя LoRA, и подаёт блоки по 2 с в диалоговом формате. Награда оценивает целый объединённый перевод, монотонность выравнивания с исходным текстом и повторения соседних сегментов. Прямой штраф задержки и эталоны частичных переводов не нужны, но обычные исходные транскрипции и переводы используются. Контекст очищается после 20 с на границе предложения, принудительно до 30 с.
Результаты. На MCIF dev английский→немецкий даёт COMET 0,87 при LongYAAL 1,6 с, английский→китайский 0,76 при 1,7 с. Сравниваемая NeMo с дополнительным контекстом из PDF выше по немецкому, 0,93 при 2,0 с, поэтому универсального превосходства нет. На ACL60/60 кривые COMET и независимой MetricX-24 лучше воспроизведённых базовых методов при общем каркасе и данных; BLEU заметно хуже. Абляции показывают необходимость второго этапа и более устойчивую пользу подавления повторов, чем отдельной награды монотонности.
Ограничения. Задержка LongYAAL не учитывает вычислительное время, повторное кодирование доступной истории, сеть и последующий синтез. Только перевод речи в текст из английского в немецкий, китайский и японский, преимущественно научные доклады. XCOMET одновременно награда и один из измерителей, поэтому важен независимый контроль. Падение BLEU авторы объясняют переформулированием, но один иллюстративный пример не исключает все виды подстройки под награду; масштабной человеческой проверки смысла не представлено.
Фишка из статьи. Управление порядком слов здесь заменяет часть ожидания. В примере рисунка 5 английский→китайский смысл передаётся в порядке, более близком к поступающей речи, а совпадение с формулировкой эталона уменьшается. Таблица отделяет конкретные измеряемые механизмы.
| Контроль | Как измеряется или задаётся | Чего не гарантирует |
|---|---|---|
| Монотонность | Спирмен по словесным выравниваниям, порог 0,9 | Естественного порядка для любой языковой пары |
| Повтор | Перекрытие n-грамм соседних частей, порог 0,65 | Отсутствия всех смысловых повторений |
| Рабочая задержка | Блоки 1 / 1,5 / 2 / 3 / 4 / 5 с | Такой же сквозной задержки на устройстве |
| Пример переформулирования | BLEU 54,2→30,8 при смене порядка | Общего доказательства лучшего смысла |
Как это читать: более ранний перевод может правильно менять формулировку, поэтому BLEU одного эталона недостаточно. Но семантическая автоматическая метрика тоже не окончательный судья. Для реального синхронного перевода нужно одновременно проверять смысл, удобство чтения частичных фраз и вычислительно обусловленную задержку.
Источник. Оригинальное название: SimPOTrans: Self-Adaptation for Offline-to-Simultaneous Speech Translation via Reinforcement Learning. arXiv:2610.35042; полный текст PDF.