InteractionBench: время реакции, выполнение задач и голосовое поведение разговорных систем

InteractionBench проверяет не только скорость ответа, но и то, говорит ли система тогда, когда нужно, правильно ли выполняет задание и помнит ли установленный контекст. Одинаковые записанные пользовательские фразы подаются семи системам через их штатные интерфейсы. Главный результат — разные измерения взаимодействия нельзя безоговорочно свести к одному рейтингу.

Метод. В 13 сценариях задан 221 элемент на систему: паузы, прерывания, короткие подтверждения, молчание по инструкции, логические задачи, шёпот и длинные разговоры. Для действий с очередью речи используются заранее заданные правила, для содержания — сценарные ответы и модель-судья. Шёпот оценивается по акустике, а не по фразе «я шепчу». Записываются дорожки пользователя и системы на одной шкале, но инструкции и особенности драйверов различаются. Всего получено 1519 оценённых запусков.

Результаты. Каскад решает 38 из 50 речевых задач, Gemini Live — 36, GPT-Realtime — 35, GPT-Live — 34; доверительные интервалы перекрываются и не позволяют надёжно упорядочить эту четвёрку. Только Gemini шепчет в большинстве из десяти попыток: 8/10. Открытые дуплексные модели проходят 14–35% проверок опоры на историю против 67–88% у облачных систем. Ни одна система не исправляет грамматику в заданном окне 50–300 мс после ошибочного слова.

Ограничения. Пользовательская речь синтетическая, на сценарий приходится мало испытаний. Системы получили разные инструкции, а прерывания иногда вводились в разные моменты. Семь оценок исправлены вручную; часть тишины в опубликованных длинных разговорах была сокращена, исходники не сохранены. Механические временные окна — авторский норматив, не универсальная модель человеческого диалога. Поэтому результаты описывают конкретный тракт и протокол, а не чистое сравнение весов моделей.

Фишка из статьи. Самая необычная проверка отделяет клиентское время от серверного у GPT-Live. Сеть и буферизация добавляют около 1,5 с и парадоксально улучшают оценку выдерживания пауз: ранний ответ доходит до слушателя позже.

Как это читать: более высокая клиентская оценка не означает лучшее внутреннее управление разговором. Задержка скрывает часть преждевременных вступлений; при ускорении сети они могут проявиться. Серверные метки доступны только для этой системы, поэтому аналогично пересчитать остальные облачные модели авторы не смогли. Для реального сервиса нужны обе шкалы времени и разбивка по сценариям.

Источник. Оригинальное название: InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems. arXiv:2611.02430; полный текст PDF.