SteerablePlex: можно ли управлять полнодуплексными моделями?

SteerablePlex исследует слабое место полнодуплексных моделей: они умеют слушать и говорить одновременно, но плохо соблюдают составные голосовые инструкции. Авторы строят SimIF-Bench на 200 заданиях и показывают, что общая «послушность» не сводится к содержанию ответа — модель должна выдержать порядок действий, стиль речи и правила взаимодействия, не потеряв естественную смену реплик.

Метод. Обучение устроено как взаимодействие актёра и режиссёра: голосовая модель ведёт разговор, а асинхронная текстовая LLM формирует сценарии и оценивает отдельные требования. GDPO нормализует вознаграждения по измерениям, чтобы редкое сложное правило не растворялось в среднем балле. Сравниваются универсальное обучение на одиночных инструкциях и настройка на составные задания из целевого распределения.

Результаты. Универсальный SteerablePlex получает 72,8% завершённых заданий против 10,6% у PersonaPlex и 80,6% у GPT-Realtime. После настройки на целевой домен завершение достигает 91,4%. По точному соблюдению порядка разница ещё заметнее: 11,5% у универсальной версии, 47,5% у доменной и 32,5% у GPT-Realtime. При этом естественность доменной модели оценивается в 3,81 балла, а универсальной — в 3,49; улучшение управляемости не требует полного отказа от разговорного поведения.

Ограничения. Точный порядок выполняется менее чем в половине случаев даже после доменной настройки. Сам тест и схема вознаграждения созданы той же группой, а статья короткая и не даёт широкого переноса на другие архитектуры. По показателям смены реплик SteerablePlex улучшает шесть из десяти метрик, но задержка ответа и частота короткой обратной связи ухудшаются.

Фишка из статьи. Наиболее полезен разрыв между обычным выполнением задачи и структурным соблюдением инструкции. Универсальное обучение почти возвращает тематическую точность GPT-Realtime, но порядок действий остаётся слабым; именно составные доменные сценарии дают четырёхкратный прирост точного порядка.

Как это читать: высокая доля завершённых диалогов может скрывать нарушение последовательности. Для управляемого голосового агента полезно оценивать не только итог, но и структуру поведения, причём эта структура пока требует данных, близких к реальным сценариям.