EgoVoice: проактивная голосовая помощь по эгоцентрическим мультимодальным потокам

EgoVoice учит носимого голосового помощника вмешиваться до того, как человек закончит опасное или ошибочное действие. Задача сложнее обычного ответа по запросу: системе нужно по потоку от первого лица понять, нужна ли подсказка, выбрать содержание и закончить реплику до критического момента. Работа полезна тем, что отдельно измеряет точность события, смысл подсказки и фактическое время её завершения.

Метод. Авторы перерабатывают HoloAssist: отделяют речь участников, синтезируют чистые дорожки и подают секундные фрагменты видео и аудио в MiniCPM-o 4.5. После обучения с учителем применяется DPO, где предпочтение зависит от попадания в окно помощи. Сравнение охватывает 170 сессий и включает ProAssist, исходный MiniCPM, EgoVoice-SFT и EgoVoice-DPO.

Результаты. F1 обнаружения момента помощи растёт с 0,113 у MiniCPM и 0,195 у ProAssist до 0,274 после SFT и 0,324 после DPO. Версия DPO в среднем заканчивает подсказку за 1,75 секунды до действия, почти как человек с 1,69 секунды. Однако полнота остаётся 0,285, а в 28,2% сработавших случаев реплика всё ещё заканчивается после действия. Косинусное сходство содержания слегка падает с 0,684 у SFT до 0,649 у DPO.

Ограничения. Данные происходят из одного домена инструктажа, а секундное разбиение задаёт грубую временную сетку. Речь не записана естественно в итоговом виде, а пересинтезирована после разделения источников. Низкая полнота означает, что система пропускает большинство подходящих моментов; преимущества перед API-моделями частично зависят от их детектора речевой активности.

Фишка из статьи. Составное вознаграждение «F1 плюс сходство текста» оказалось хуже простого временного F1 сразу по обеим составляющим. Это редкий полезный отрицательный результат: добавление семантической цели не стабилизировало обучение, а размыло сигнал о своевременности.

Как это читать: DPO научил модель лучше выбирать момент, но не решил задачу целиком. Рост F1 сопровождается небольшим ухудшением содержания и всё ещё низкой полнотой, поэтому итог следует трактовать как удачную настройку компромисса, а не готовую проактивную систему.