S3-S2ST: потоковый перевод речи с обучаемым выбором момента ответа

При синхронном переводе важно не только что сказать, но и когда уже достаточно контекста. S3-S2ST обучает решение читать следующий блок или начинать перевод по смысловым границам. Дополнительно модель использует запас уже озвученного перевода: пока слушателю есть что воспроизводить, можно подождать и точнее перевести следующую часть.

Метод. Акустический тракт получает блоки 640 мс с заглядыванием вперёд на 160 мс; последующие слои не расширяют этот бюджет. Классификатор READ/WRITE читает состояние Thinker с плотной языковой основой 4B. Talker получает взвешенную смесь восьми промежуточных слоёв и генерирует кодековые единицы. Порог начала перевода меняется от 0,1 при пустом буфере до 0,99 при достаточном запасе воспроизведения. Смысловые траектории создаются по переведённым расшифровкам и принудительному выравниванию; финальное потоковое обучение использует около 13 тыс. часов, предшествующая подготовка существенно больше.

Результаты. На FLEURS фиксированный порог 0,5 даёт COMET текста 0,828 и ASR-COMET озвученного перевода 0,769; адаптивная политика 0,804 и 0,751. Значит, быстрый режим не является лучшим по качеству. Внутренний набор девяти пар с тем же порогом даёт ASR-COMET 0,933. Столбец WER 4,02% на FLEURS сравнивает распознанную озвучку с собственным текстом модели: это точность произнесения, не правильность перевода. В нём усредняются английский WER и китайский CER.

Ограничения. Проверены только английский и китайский; внутренний набор не опубликован. Исключение точных совпадений файлов не исключает близкие записи или пересечение предобучения. Результаты улучшения кодировщика сравнивают разные рецепты подготовки, а не чистую замену маски внимания. 640 мс задают шаг наблюдения, не задержку до звука: StartOffset включает ожидание речи, вычисления и вокодер, но исключает сеть и устройство воспроизведения. Естественные длинные разговоры не оценены.

Фишка из статьи. Контролируемая таблица 5 сравнивает адаптивный порог с его фиксированным начальным значением. Веса, озвучивание и условие диктора одинаковы; до первого ответа обе политики выбирают одну и ту же входную границу.

Как это читать: прибавка качества возникает после начала ответа, а не за счёт ускоренного первого слова. Разность 70 мс авторы относят к вариации времени исполнения. Это практически полезное разделение двух регуляторов: быстрый старт при пустом буфере и более осторожные последующие решения, пока готовая речь скрывает ожидание нового контекста.

Источник. Оригинальное название: S3-S2ST: Semantically Supervised Streaming Speech-to-Speech Translation. arXiv:2610.36777; полный текст PDF.