VoxTurn: несколько решений о смене реплик за один проход одной модели
VoxTurn решает сразу несколько задач голосового агента: завершил ли пользователь реплику, продолжит ли после паузы, является ли звук речью, перебиванием или коротким подтверждением. Модель на 0,8 млрд параметров отвечает на вопросы с фиксированными вариантами, а специальная маска внимания позволяет вычислять несколько ответов за один проход. Самый существенный выигрыш связан с обучением на настоящих паузах разговора, а не на искусственно обрезанных фразах.
Метод. Аудио и варианты ответа обрабатываются речевой языковой моделью на основе Qwen3-ASR; из скрытых состояний вариантов извлекаются оценки. Блоки вопросов изолированы друг от друга, сохраняя общий аудиоконтекст. Метки продолжения и окончания выводятся из временной структуры диалогов, а во время паузы агент повторяет запросы, вместо того чтобы принимать окончательное решение по первому сигналу детектора активности.
Результаты. На eot-bench при среднем бюджете задержки 300 мс VoxTurn ошибочно обрывает 11,5% английских пауз внутри реплики; среднее по 14 языкам — 19,9% против 28,4% у LiveKit v1-mini и 39,7% у Smart Turn v3.2. Один запрос занимает 8,3 мс на L40S, четыре вопроса вместе — 9,0 мс вместо 33,2 мс раздельно. В воспроизведении 150 английских реплик через Pipecat доля оборванных реплик снижается с 45,3% до 16,7%, средняя задержка — с 1,32 до 0,36 с.
Ограничения. Разговорные паузы для обучения есть только на английском и китайском; в хинди ложные обрывы остаются высокими — 37,5% при 300 мс. Оценки на паузах и на целых репликах имеют разные знаменатели и несопоставимы напрямую. Замер 8,3 мс относится к ускорителю и оптимизированному обслуживанию, а воспроизведение корпуса не заменяет испытания с живыми пользователями.
Фишка из статьи. Абляция показывает, что структура данных важнее их механического увеличения. Все основные строки ниже используют 300 тыс. обучающих примеров; исключение явно обозначено.
| Конфигурация | Ложные обрывы EN при 300 мс, % | Среднее по 14 языкам, % |
|---|---|---|
| Сегментированные фразы, r0 | 26,2 | 33,0 |
| Реальные паузы, r3 | 16,5 | 20,0 |
| r3, вчетверо больше обучения | 15,9 | 21,0 |
| Итоговая v1 | 11,5 | 19,9 |
Как это читать: добавление подходящих пауз снижает ошибку намного сильнее, чем четырёхкратное увеличение обучения, которое даже ухудшает многоязычное среднее. Для низкой задержки в реальной системе также важна политика повторной проверки: одноразовый вызов VoxTurn в Pipecat даёт уже 1,26 с ожидания.
Источники. Страница arXiv; PDF статьи. Оригинальное название: VoxTurn: Answering Several Turn-Taking Questions in One Pass with One Model.