Heartbeat Thinking: предварительные вычисления голосового агента, пока пользователь ещё говорит

Голосовой агент может начинать поиск и подготовку вызовов ещё до конца пользовательской реплики. Но если каждая новая порция распознавания обрывает текущую генерацию, часть вызовов не успевает получить полные аргументы. Heartbeat Thinking позволяет уже начатым вычислениям завершиться, а новые запуски читают более свежую расшифровку и общий журнал готовых результатов.

Метод. Отдельный Thinker вызывается периодически во время речи; текущие обращения к инструментам не отменяются при поступлении текста. В основных опытах интервал 500 мс и не более двух одновременных запусков. После конца реплики Responder получает финальный текст и снимок уже готовой подготовки, проверяет её на противоречия и повторно использует подходящие результаты. Он не ждёт незавершённые спекулятивные вычисления. Основные роли выполняют Qwen3.6-35B-A3B и DeepSeek-V4-Flash; проверяются SpeechFCEval, FDBench v3 и AudioCRAG.

Результаты. На FDBench доля заранее завершённых и реально использованных правильных вызовов повышается с 34,67 до 50,67%, качество с 72 до 77%, Pass@1 с 57 до 65%. Среднее начало окончательного звукового ответа сдвигается с 6,90 до 4,39 с после конца речи, на 36,4%. При этом правильный вызов инструмента начинается в среднем за 4,37 с до конца реплики против 2,74 с у оконного подхода. Вызов и готовый результат здесь разные события, а отрицательное время не означает отрицательную полную задержку.

Ограничения. Дополнительная параллельная работа имеет стоимость; её полный обмен на задержку ещё не исследован. Оценка времени проведена на FDBench в фиксированной конфигурации ASR, TTS и VAD; перенос на шумное потоковое распознавание и разные сервисные задержки ограничен. Корректность инструментального вызова в тесте не доказывает безопасность преждевременных внешних действий. Практической системе нужны отдельные ограничения для операций с необратимыми последствиями.

Фишка из статьи. Сохранить больше подготовки не значит правильно её использовать. В основной таблице увеличение покрытия соседствует с ухудшением конечного ответа на двух тестах.

Как это читать: на AudioCRAG повторное использование поиска растёт более чем втрое, а правильность ответа падает; доля отсутствующих ответов повышается с 14,33 до 16,84%. Успешность планировщика и успешность ответа надо измерять раздельно. Покрытие на AudioCRAG относится к доле запросов с переиспользованным поиском, на первых двух тестах — к эталонным инструментальным вызовам, поэтому абсолютные значения между строками не взаимозаменяемы.

Источник. Оригинальное название: Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents. arXiv:2610.26233; полный текст PDF.