DIAL-S2ST: уменьшение задержки перевода речи через дистилляцию с будущим контекстом

DIAL-S2ST учит причинную модель перевода речи у того же каркаса, временно получившего доступ к двум секундам будущего. Главная сложность состоит в том, что не всякое решение такого учителя доступно ученику в данный момент. Поэтому авторы ограничивают подражание и отдельно защищают акустическую часть, чтобы уменьшение задержки не разрушало голос.

Метод. На Hibiki для французского и английского обучают LoRA-адаптеры временного трансформера, около 16 млн параметров, используя примерно десять часов только исходной речи FLEURS. Учитель оценивается на историях, созданных самим учеником, а текстовая прямая KL-дивергенция маскируется при расхождении свыше 10 нат. Акустические и семантические распределения удерживаются отдельным учителем без просмотра вперёд. Во время обучения случайно меняют доступное будущее от нуля до двух секунд и согласуют его с силой адаптера; на выводе её масштаб задаёт компромисс качества и ожидания.

Результаты. При одинаковом LAAL 1,8 с метод получает ASR-BLEU 32,5 против 32,0 у самообучения со сдвигом и 31,1 у внеполитической дистилляции. При LAAL 2,3 с значения составляют 34,8, 33,2 и 34,6, при 2,8 с: 35,6, 34,3 и 35,5. Таким образом, преимущество особенно заметно в более быстром режиме, а не постоянно велико на всей кривой. Обучение занимает 500 шагов; это адаптация уже готовой модели, не обучение переводу с нуля.

Ограничения. Показан один языковой маршрут и один базовый каркас. Перевод оценивается по транскрипции Whisper-medium, поэтому ASR-BLEU смешивает ошибки перевода и распознавания синтезированного звука. Нет человеческой оценки естественности диалога. LAAL описывает информационное ожидание, но не заменяет измерения вычислительной задержки на целевом оборудовании. Итоговый адаптер усреднён по трём запускам, это не три независимые оценки с доверительными интервалами.

Фишка из статьи. Абляция при силе адаптера 0,5 разделяет две разные опасности дистилляции: подражание недоступному будущему и повреждение речевого распределения. Обратная KL в дополнительном опыте вообще приводит к вырождению в молчание.

Как это читать: сопоставимая задержка в последней строке скрывает сильную потерю сходства голоса и перевода. Маска текстовой цели и удержание речи решают разные проблемы; одной настройки ожидания недостаточно. Это также отрицательный результат для привычной замены направления KL: в данном потоковом режиме она не является безобидной альтернативой.

Источник. Оригинальное название: DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation. arXiv:2610.32214; полный текст PDF.