Не выбирать награду, а вычислять её: оконное правдоподобие для перебиваний и поддакиваний

Полнодуплексная модель должна уступить настоящему перебиванию, но продолжить после короткого «угу». Авторы заменяют выборочную бинарную награду за такой двухсекундный эпизод аналитической вероятностью нужного поведения. Это даёт градиент даже там, где все сгенерированные варианты одинаково неудачны, и ограничивает влияние награды решениями об остановке речи.

Метод. Для одного сгенерированного продолжения собираются условные вероятности остановки. Вероятность уступить хотя бы раз вычисляется как единица минус произведение вероятностей продолжения; для поддакивания максимизируется произведение вероятностей не останавливаться. Логарифм предотвращает затухание градиента в сложных окнах. В каркасах с отдельным управлением обучается соответствующая голова или LoRA. Для PersonaPlex и Moshika меняются только две строки текстовой проекции, 8194 параметра, с событийным включением. Здесь отсутствие управляющего токена требует приближённого определения остановки по последовательности PAD, а не точной маргинализации всех продолжений.

Результаты. На HumDial-FDBench лучшая гармоническая оценка уступания и удержания хода получена на всех шести моделях. MiniCPM-o достигает 89,6 против 83,9 у GRPO только на речевых решениях; Freeze-Omni улучшается с 19,7 до 40,5, но остаётся слабым. PersonaPlex поднимается с 61,7 до 77,2 за счёт уменьшения ложных остановок после поддакивания с 54,0 до 17,5%, одновременно реже уступая настоящему перебиванию: 93,8→72,6%. Это сдвиг рабочей точки, а не улучшение каждого показателя.

Ограничения. Один набор и один обучающий запуск на конфигурацию. Сравнение с опубликованными Kyutai GRPO использует другие данные и награды, поэтому не изолирует алгоритм. Даже собственный GRPO-контроль отличается дополнительными критериями и числом разных окон за шаг. F1 здесь специально определённое гармоническое среднее двух частот, не обычная классификационная F1. У BayLing 12 из 40 первых ответов не завершаются за 120 с: ноль повторных открытий после ответа считается только на остальных и не означает здорового диалога.

Фишка из статьи. Таблица 1 полезна совместным учётом качества событий и поведения в ста секундах пользовательской тишины. Сравнение ниже относится к MiniCPM-o и не смешивает разные модели.

Как это читать: ограничение места применения награды уже снимает большую часть ложных остановок; последующий выигрыш нельзя весь приписать борьбе с нулевым градиентом. Авторы отдельно измеряют одинаковые группы GRPO: 72% окон у Lychee и 91% у Freeze-Omni не дают относительного преимущества ни одному варианту. Аналитический критерий решает конкретную проблему распределения награды, а не доказывает ненужность обучения с подкреплением вообще.

Источник. Оригинальное название: Integrate the Reward, Don't Sample It: Window Likelihood for Interruptions and Backchannels in Full-Duplex Speech Models. arXiv:2610.35581; полный текст PDF.