Услышать достаточно для действия: ранний вызов инструментов в речевом диалоге

Голосовой агент может получить все обязательные аргументы запроса ещё до конца пользовательской реплики. Авторы создают разметку первого пригодного для действия момента и обучают модель решать, ждать ли дальше, уточнять или запускать инструмент. Важнейший результат работы — не только возможная экономия времени, но и открыто показанная низкая точность самого решения о запуске.

Метод. Синтетический конвейер строит 26694 диалога, 786 ч, 48 предметных областей, затем синтезирует и выравнивает речь. Проверки отбрасывают неисполнимые вызовы, неподтверждённые аргументы и значения, исправленные позже. Они могут лишь отложить метку, поэтому она является верхней оценкой истинного самого раннего момента, а не доказанным минимумом. Qwen3-Omni-30B-A3B с LoRA получает блоки по 0,6 с и выдаёт состояния WAIT/UNSURE/READY/HOLD. Сравниваются отсутствие содержательной нагрузки, частичная транскрипция и транскрипция с собственным JSON; отдельная языковая модель может завершить вызов по тексту.

Результаты. Вариант с транскрипцией имеет macro-F1 состояний 0,484 внутри области и 0,474 на звуковой версии τ2-bench. Для правильных вызовов среднее опережение конца реплики 1,83–2,01 с, но медиана по всем правильным вызовам только 0–0,7 с: среднее формирует длинный хвост. На уровне реплик ASR+JSON имеет точность запуска 0,409 и полноту 0,586. Следовательно, около 59% запусков ложные в этом протоколе; практической надёжности для самостоятельных необратимых операций ещё нет.

Ограничения. Один обучающий запуск, один каркас, синтетические голоса и диалоги; внешняя проверка тоже озвучена синтетически. Совпадение событий допускает ±1,2 с и не проверяет содержимое вызова; качество аргументов затем считается лишь на совпавших READY. Выигрыш времени оценивается по моменту аудио, а не сквозным временем форматирования, вычислений и сети. Частичный WER растёт с 11–12% внутри области до 48–55% с новыми сущностями, поэтому перенос решений о времени не означает перенос точных аргументов.

Фишка из статьи. Таблица 5 удерживает одни и те же срабатывания ASR+JSON, меняя только способ получения вызова. EM требует точного совпадения нормализованной строки JSON и особенно чувствителен к представлению сущностей.

Как это читать: узкое место не устраняется просто обучением JSON-головы: текстовый промежуточный результат значительно полезнее собственного структурированного вызова. Разница между 235B и 30B мала по сравнению с этим эффектом. Но эти условные EM не учитывают ложные запуски и пропуски; умножать их на обещание экономии без отдельной проверки безопасности нельзя.

Источник. Оригинальное название: Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems. arXiv:2610.34653; полный текст PDF.