CRESiST: обучение момента чтения и выдачи токенов для синхронного перевода речи

В синхронном переводе важно не только выбрать слово, но и решить, достаточно ли уже услышанного для его выдачи. CRESiST обучает это решение через взаимодействие RNN-T, исследующего последовательности ожидания и ответа, с более сильной речевой языковой моделью. Самый показательный опыт: передача стратегии сокращает задержку малого RNN-T, почти не улучшая его перевод.

Метод. Qwen 2.5 Omni 7B обрабатывает чередование акустических блоков и текстовых токенов с повторным использованием KV-кэша. Потоковый кодировщик получает блоки по 400 мс. На обучении RNN-T с осевым вниманием предлагает траектории Read/Write, а языковая модель оценивает согласованность и задержку; предпочтения передаются обратно через дистилляцию. Дополнительный Refiner использует полный акустический контекст только во время обучения. При применении решения принимает Router основной модели, без доступа к будущему через Refiner. Выходом проверяемой задачи является текстовый перевод, не синтезированная целевая речь.

Результаты. На непрерывном английско-немецком MuST-C без эталонного разбиения на предложения получены XCOMET 85,96 и LongYAAL 0,76 с против 74,35 и 2,42 с у StreamATT в приведённой рабочей точке. На ACL 60/60 того же направления CRESiST даёт 85,59 и 1,08 с. В таблицах отдельно показаны режимы с эталонным разбиением: смешивать их с непрерывным потоком нельзя. Основная проверка охватывает десять направлений на уровне предложений, а длинные документы проверены для двух.

Ограничения. Метки перевода значительной части обучающих ASR-корпусов получены большой языковой моделью, причём китайский и английский занимают более половины псевдоразметки. Авторы отмечают просадку офлайн-качества относительно исходного Qwen в отдельных областях. Порог хорошо меняет компромисс на предложениях, но слабее управляет задержкой длинных документов. При оценке всё же отфильтровываются паузы более двух секунд. LAAL и LongYAAL описывают отставание выдачи; без отдельного измерения вычислительной скорости они не равны полной задержке сервиса.

Фишка из статьи. Приложение D.2 проверяет, можно ли вместо большой модели оставить обучавшийся RNN-T. Ниже FLEURS, китайский → английский; больше XCOMET и меньше LAAL лучше.

Как это читать: RNN-T усваивает, когда отвечать, но не приобретает языковую точность большой модели: задержка почти сравнялась, качество осталось примерно на 33 пункта ниже. Поэтому отдельный модуль стратегии не заменяет переводчик. Это сильное отрицательное наблюдение о разделении времени и содержания, а не доказательство бесплатного ускорения всей системы или достаточности маленькой модели.

Источник. Оригинальное название: CRESiST: Self-Enhancing Explorative Policy Learning for Simultaneous Speech Translation. arXiv:2611.06501; полный текст PDF.