Выбор коротких речевых ответов в реальном времени для диалоговых систем

Голосовой агент может быстро выбрать готовое «понимаю» или короткий вводный ответ, пока основная языковая модель ещё формулирует продолжение. Авторы связывают такой выбор с акустической моделью смены реплик, не дожидаясь распознавания текста. Это не ускорение большого генератора, а отдельный путь, который делает паузу перед ответом менее пустой.

Метод. Модель VAP по двум звуковым каналам причинно оценивает будущую активность говорящих. Контрастивное обучение сопоставляет её текущий контекст с представлениями коротких ответов; кандидаты заранее озвучены и закодированы. При событии выбирается максимум косинусного сходства, а отдельная голова различает самостоятельную реакцию слушателя и начало основного ответа. Чтобы выбор не портил тайминг, градиент контрастивной потери не передаётся в VAP. Обучение использует японский CEJC с разделением по группам участников, модель работает с частотой обновления 10 Гц.

Результаты. На 14 446 тестовых событиях точность выбора текста Top-1 равна 15,72% против 6,41% случайно и 7,55% у LLM-ориентира. Для начала основной реплики задача заметно труднее: 4,52% против 1,62% у LLM. F1 определения времени при допуске 0,5 с почти не меняется, 78,23% против 78,31% без выбора; средняя абсолютная ошибка среди обнаруженных событий 0,477 с. На CPU Apple M5 сам выбор среди 10 тысяч готовых кандидатов добавляет около 0,0765 мс к примерно 9,37 мс основного прохода.

Ограничения. Проверка объективная, без подтверждённого улучшения впечатления живых пользователей. Один контекст допускает несколько правильных реакций, а точное совпадение текста считает правильной только записанную. Короткий ответ может противоречить последующему большому ответу. Обучение на естественной речи и применение к синтезированным кандидатам создают сдвиг распределения. Микросекунды выбора не включают ожидание кадров, аудиовывод и дальнейшие LLM/TTS, поэтому не задают полную задержку агента.

Фишка из статьи. Таблица 7 отделяет стоимость поиска в готовой базе от стоимости самой акустической модели. Ниже среднее и 95-й процентиль CPU-времени добавленного выбора; кодирование кандидатов выполняется заранее.

Как это читать: тысячекратное увеличение базы не означает тысячекратную задержку: здесь достаточно компактных векторов и пакетного вычисления сходств. Однако почти неизменный F1 тайминга ожидаем и по конструкции: градиент выбора отрезан от VAP. Главный открытый вопрос не скорость этого поиска, а уместность и согласованность выбранной фразы.

Источник. Оригинальное название: Real-Time Short-Response Selection for Spoken Dialogue Systems. arXiv:2611.09057; полный текст PDF.