Ответить сразу или передать эксперту: маршрутизация в дуплексной речевой модели без её дообучения

Речевая модель может быстро поддерживать разговор, но ошибаться на вопросах, требующих сильного рассуждения или свежих сведений. Авторы добавляют к замороженной MiniCPM-o 4.5 небольшой классификатор риска ошибки, который решает, нужен ли внешний эксперт. Решение принимается на штатном переходе от слушания к ответу, без отдельной генерации самооценки.

Метод. Логистическая модель читает скрытые состояния слоя 22: текущий вектор перехода и усреднённый контекст. Для её подготовки используются сохранённые состояния и оценки правильности локальных ответов. Порог регулирует расход внешнего эксперта независимо от обучения дуплексного поведения. При передаче система распознаёт вопрос, запрашивает более сильную текстовую модель и озвучивает подготовленный ответ локальным голосом. Один заранее синтезированный сигнал ожидания удерживает очередь разговора; дополнительная голова исключает команды остановки и простые подтверждения из маршрутизации.

Результаты. На 240 внутренних вопросах агрессивный режим передаёт эксперту половину запросов и повышает точность с 42,1% до 69,2%; случайный выбор при том же бюджете даёт 60,8%. Постоянный эксперт достигает 79,6%. Средняя серверная задержка до собственно ответа составляет 5,95 с против 8,68 с у постоянного эксперта. На четырёх внешних речевых наборах средняя точность растёт с 59,4% до 83,2%. Рецепт проверен и на VoiceChat-11B, но классификатор для неё обучают заново.

Ограничения. Измеряется серверное ожидание от известного конца воспроизводимого вопроса, а не живая задержка определения конца реплики и воспроизведения у клиента. Фраза ожидания не считается ответом. Правильность оценивается по локальному или задуманному тексту ответа, а не по фактической точности озвучивания. Скорость и стоимость внешнего сервиса могут измениться. Перенос классификатора между модальностями исследован, но не заменяет калибровку при смене языка, модели и распределения задач.

Фишка из статьи. Работа даёт явную кривую затрат и качества, а не единственный удачный порог. Внутренний набор MiniCPM-o, таблица 1: выбор более частого обращения повышает точность, но ухудшает время до содержательного ответа.

Как это читать: 31,5%-е сокращение ожидания относится к сравнению с постоянной передачей эксперту, а не с быстрым локальным ответом. Цены — авторская оценка при конкретных тарифах и повторном проигрывании запросов, не текущий прейскурант. Такая таблица помогает выбрать порог под допустимую задержку и цену ошибки, не объявляя один режим универсально лучшим.

Источник. Оригинальное название: Local or Escalate? Post-Training Expert Routing for Real-Time Duplex Speech Models. arXiv:2611.01639; полный текст PDF.