DuplexAgent-RSI: рекурсивное улучшение контура совместной работы полнодуплексных голосовых агентов

DuplexAgent-RSI улучшает голосового агента без изменения весов модели: система многократно анализирует неудачные диалоги и переписывает окружающий её программный контур. Это практический взгляд на полнодуплексную систему как на набор управляемых модулей — приём запроса, удержание линии, вызов инструмента, выдачу результата и память — а не как на одну монолитную модель.

Метод. Контур разбит на шесть редактируемых модулей: Policy, Intake, Hold, Worker, Deliver и Memory. Симулятор генерирует отказы, LLM диагностирует причину, предлагает изменение, проверяет его на кампании и сохраняет только прошедшие варианты. Итерации накапливаются рекурсивно, поэтому следующая диагностика работает уже поверх улучшенной версии.

Результаты. Для VoiceChat средний BFCL растёт с 53,5 до 75,8, Pass@1 полнодуплексного теста — с 16 до 47. На Qwen-Realtime BFCL повышается с 82,0 до 90,8, Pass@1 — с 39 до 49. В устных задачах знаний VoiceChat поднимается с 54,2 до 80,6 на OpenBookQA и с 36,1 до 80,5 на MMSU; Qwen — с 86,3 до 92,1 и с 64,8 до 82,7. Веса обеих моделей остаются неизменными.

Ограничения. Это технический отчёт, значительная часть симуляции и оценивания опирается на другие модели, поэтому возможны смещение судьи и подгонка под кампанию. Контур не исправляет собственное акустическое восприятие основной модели. На одном условии паузы становится хуже, а рост дополнительного делегирования показывает новый тип ложных срабатываний.

Фишка из статьи. Абляция отделяет эффект одной удачной правки от накопительного процесса. Однократное исправление даёт лишь 57,4 против 54,6, последовательные ручные изменения — 61,9, а рекурсивная кампания — 85,3. При этом пропущенное делегирование падает с 30,3% до 1,3%, но лишнее растёт с 3,9% до 6,6%.

Как это читать: основной выигрыш возникает не от одного нового правила, а от цикла «отказ — диагностика — проверка — сохранение». Одновременно таблица показывает цену: система почти перестаёт пропускать нужные вызовы, но начинает чуть чаще делегировать без необходимости.