DiffuPlex: ускорение полнодуплексных разговорных моделей с помощью скользящей маскированной диффузии

DiffuPlex ускоряет полнодуплексную голосовую модель не сокращением контекста и не отдельным быстрым декодером, а параллельным предсказанием нескольких будущих кадров маскированной диффузией. Важная часть работы — не только ускорение до 1,6 раза, но и разбор того, какие будущие токены можно вычислять заранее без разрушения перебивок, обратной связи и естественного ритма разговора.

Метод. Поверх потоковой PersonaPlex-подобной модели вводится скользящее окно: модель авторегрессионно фиксирует ближайший кадр, а более далёкие позиции уточняет несколькими диффузионными шагами и при поступлении нового контекста пересматривает. Режим LISTEN агрессивнее ускоряет обработку речи собеседника, SPEAK — генерацию ответа. Авторы отдельно сравнивают пересматриваемое предсказание с отложенным выполнением, где заранее рассчитанные кадры просто выдаются позже.

Результаты. На 60 диалоговых фрагментах LISTEN сокращает полное время с 745,7 до 512,4 секунды, а SPEAK — до 469,1 секунды, то есть даёт ускорение 1,46 и 1,59 раза. Для ядра языковой модели ускорение достигает 1,61 и 1,80 раза. 99-й процентиль пробуждения остаётся около 61 мс, случаев выше 80 мс нет. LISTEN почти сохраняет субъективную естественность: NMOS 3,92 против 3,93 у основы; у SPEAK NMOS снижается до 3,54, хотя диалоговая уместность DMOS остаётся 4,07 против 4,09.

Ограничения. Проверена одна семья полнодуплексных моделей и небольшой фиксированный набор на GPU A6000. Глубокое предсказание будущих акустических кодов ухудшает естественность речи, а выигрыш зависит от доступной параллельности оборудования. Работа пока не показывает устойчивость на длинных открытых разговорах и других кодеках.

Фишка из статьи. Отрицательный результат с отложенным выполнением объясняет, почему одного упреждающего расчёта недостаточно. При горизонте шесть кадров такой вариант быстрее, но почти втрое реже даёт короткую обратную связь и более чем втрое увеличивает задержку смены реплики; возможность пересматривать будущее оказывается функциональной, а не косметической.

Как это читать: предварительно вычисленный кадр быстро устаревает, когда собеседник продолжает или прерывает реплику. Скользящий пересмотр немного съедает вычислительный выигрыш, зато сохраняет поведение, ради которого и нужна полнодуплексная модель.