Разговор как задача двух тел: диадическая оценка полнодуплексных диалоговых моделей

DyaFDB меняет сам объект оценки полнодуплексной речевой модели: вместо разговора с фиксированным экзаменатором две модели свободно взаимодействуют друг с другом. Это важно, потому что перебивания, уступка канала, давление молчанием и сохранение роли возникают из пары, а не принадлежат одной системе в изоляции.

Метод. Набор включает четыре задачи: удержание роли, объединение скрытой информации, борьбу за речевой канал и конфликт целей, включая извлечение секрета. Для трёх моделей авторы проводят self-play и cross-play в шести сочетаниях; всего получено 7 560 разговоров по 140 сценариям. Внешний судья оценивает обе стороны после записи, а дисперсионный анализ разделяет вклад модели, партнёра и их взаимодействия.

Результаты. Только удержание роли в основном определяется самой моделью: доля объяснённой дисперсии достигает 0,78–0,96. В остальных задачах существенна пара. Команды без Raon не превосходят случайные 20% при объединении информации, а даже с Raon решают лишь 23–35% случаев. Один и тот же защитник раскрывает секрет в 39% разговоров с одним атакующим и в 63% с другим.

Ограничения. В основной матрице всего три модели и минутные разговоры; более длинное окно после 60 секунд почти не помогает, но это не заменяет реальные длительные сессии. Часть оценок делает LLM-судья по распознанному тексту, поэтому просодия и ошибки распознавания учитываются неполно. Результаты показывают зависимость от партнёра, но не дают единого рейтинга.

Фишка из статьи. Самая сильная модель по кооперации оказывается слабейшей в удерживающих ролях. Raon чаще принимает решения и захватывает канал, но именно поэтому хуже уступает и защищает секрет.

Как это читать: быстрый и настойчивый агент не автоматически лучший собеседник. Поведение, полезное для продвижения своей цели, становится уязвимостью, когда инструкция требует молчать, уступать или хранить секрет.