Omni-JEV: выбор действий голосового помощника по тексту и двум речевым каналам
Omni-JEV выбирает не следующее слово, а действие голосового помощника: слушать, начать, продолжить, остановить или возобновить ответ. Одно и то же высказывание требует разных действий в зависимости от состояния помощника; работа явно включает это состояние и проверяет не только правильность выбранного класса, но и качество распределения вероятностей.
Метод. Пользовательский и опорный канал помощника отдельно кодируются общим замороженным SenseVoice, затем проектируются в разные ролевые участки последовательности Qwen3-Thinker. Текст использует ту же голову выбора кандидатов. Обучаемая часть содержит около 597,6 млн параметров, SenseVoice добавляется сверх неё. После обучения с перекрёстной энтропией сравниваются две стратегии RLCD: гауссово возмущение логитов и категориальный выбор с целью отрицательной ошибки Brier. Решение принимается в конце собранного сегмента, а не непрерывно в любой момент аудиопотока.
Результаты. На 24 287 звуковых примерах гауссов вариант даёт точность 84,08% и macro-F1 76,00%; категориальный 84,04% и 75,23%. На 10 573 текстовых примерах точность 96,55% и 96,51%, macro-F1 80,56% и 81,41%. При почти неизменной точности категориальная стратегия уменьшает Brier примерно на 10,96% для аудио и 5,93% для текста. Это улучшение качества вероятностного прогноза, не измеренное ускорение интерактивного диалога.
Ограничения. Метки слабые и неоднородные: часть выводится из активности собеседников, часть из условных сценариев или соглашений для отдельных команд. В аудиотесте 15 617 случаев listen и лишь 17 recover; в тексте recover отсутствует. Один начальный случайный запуск, диагностическое изучение теста и разные смеси источников ограничивают выводы. Не измерены задержка замкнутой системы, устойчивость к акустическому эху и качество многоходового взаимодействия.
Фишка из статьи. В таблице 6 на с. 12 практически одинаковый argmax скрывает заметно разную уверенность. Ниже Brier переведён из авторского масштаба ×10⁴ в обычный: меньше лучше, как и NLL.
| Вход | RLCD | Точность, % | Brier | NLL |
|---|---|---|---|---|
| Аудио | Гауссов | 84,08 | 0,280699 | 0,5863 |
| Аудио | Категориальный | 84,04 | 0,249943 | 0,4376 |
| Текст | Гауссов | 96,55 | 0,065579 | 0,1834 |
| Текст | Категориальный | 96,51 | 0,061687 | 0,1331 |
Как это читать: Для порогового решения об остановке речи важна не только самая вероятная метка, но и надёжность её вероятности. Здесь методы одновременно меняют награду, исследование и оцениватель, поэтому таблица сравнивает полные рецепты и не изолирует одну причину. Низкая средняя Brier также не доказывает калибровку редкого действия recover.
Источник. Оригинальное название: Omni-JEV: Text and Dual-Stream Speech Decisions. arXiv:2611.13777; полный текст PDF.