JAVIS: потоковый разговорный агент с совместным порождением речи и мимики

Разговорный аватар теряет отзывчивость, если сначала полностью синтезирует ответ, а затем начинает оживлять лицо. JAVIS порождает речь и мимику параллельно из общего представления, не ожидая готовой звуковой дорожки. Существенный результат статьи состоит в абсолютной задержке первого совместного аудиовидеопакета, а не только в эффектном сравнении с медленной непотоковой системой.

Метод. Основа Fun-Audio-Chat работает с общей языковой моделью на 5 Гц и уточняющей речевой головой на 25 Гц. Последняя адаптируется через LoRA в Joint Refined Head, чьи состояния одновременно питают речевую и двигательную ветви. Речь восстанавливает замороженный тракт CosyVoice 3; преобразователь движения генерирует пять кадров лица, то есть 0,2 с, и получает просмотр вперёд на один такой блок. Общая языковая модель остаётся замороженной. После обучения на монологах следует диалоговая адаптация, включая JAVIS-Syn: 225 780 синтетических видеореплик общей длительностью 334,13 часа.

Результаты. На 140 ранее не использованных примерах VStyle JAVIS получает LSE-C 9,59 и LSE-D 6,74 для синхронизации губ, WER синтезированной речи 0,44% и UTMOS 4,29. В субъективной оценке синхронизация достигает 4,37±0,10, уместность выражения лица 3,76±0,16. Естественность движения 3,92±0,13 сопоставима с 4,02±0,11 у FAC+InfiniteTalk, но не превосходит её убедительно. На двух RTX 4090 первый совместный выход появляется через 1,27 с, RTF составляет 0,541.

Ограничения. Измерение времени усреднено всего по пяти запросам и выполнено на двух мощных видеокартах. RTF меньше единицы не отменяет стартовой паузы и не доказывает полнодуплексную работу с перебиваниями: это направление авторы оставляют на будущее. Обучающий диалоговый материал частично синтетический, а набор оценки мал. Представление лица низкоразмерное, поэтому выводы не следует переносить на произвольное полнотелое видео.

Фишка из статьи. Таблица 3 позволяет проверить, откуда берутся заявленные примерно 200 раз по начальной задержке: сравнение с уже потоковым конкурентом существенно скромнее.

Как это читать: выигрыш около 198 раз относится к конкретному медленному каскаду. Относительно FLOAT с двухсекундными блоками задержка уменьшается примерно на 39%, а суммарный RTF меняется мало. Именно этот вариант сравнения лучше характеризует практическую добавочную ценность общего представления: заметно более раннее начало ответа при близкой скорости дальнейшей генерации.

Источник. Оригинальное название: JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents. arXiv:2610.22499; полный текст PDF.