Аудиовизуальные модели Анализ разговоров Активный говорящий
arXiv cs.CV

Nunchi: речь помогает определить, на кого смотрят участники разговора

ArXiv:2611.23115

Когда рядом несколько людей, одна геометрия взгляда не всегда позволяет понять, на кого направлено внимание. Nunchi добавляет к ней сведения о текущем говорящем и содержании реплик, связывая все подсказки с одними и теми же лицами. Особенно интересна проверка взаимодополняемости: текст сам по себе почти бесполезен, но начинает помогать после указания того, кто говорит.

Метод. Замороженный Gaze-LLE строит тепловую карту взгляда наблюдателя; для каждого лица вычисляют массу карты в расширенной области, положение пика и расстояния. Замороженный LR-ASD по звуку и дорожкам лиц оценивает активного говорящего. Текущая и две предыдущие реплики превращаются в текстовую подсказку: имена участников заменены общими метками O и Ck, подписи авторов реплик удалены, чтобы сведения о говорящем поступали отдельным путём. Все признаки записываются текстом, согласованным с метками на ключевом кадре. Qwen3-VL-8B получает кадр, обрезку наблюдателя и подсказки; обучается LoRA языковой части, зрительный кодировщик заморожен. Решение — максимальный логит индекса кандидата до генерации объяснения, поэтому качество последующего объяснения не используется для выбора.

Реплики, говорящий и взгляд привязаны к одним и тем же людям Ck. Кадр → Gaze-LLE: Тепловая карта взгляда и массы в областях лиц. Аудио + лица → LR-ASD: Оценки говорящего по людям, усреднение по реплике. Текст трёх реплик: Имена заменены на O и Ck; без подписей говорящих. Общая система меток Ck: Новое: все подсказки записаны текстом и связаны с лицами. Два изображения + подсказки: Новое: Qwen3-VL-8B с LoRA сопоставляет признаки. Кто в фокусе внимания?: Максимум логита индекса Ck до генерации объяснения.
Схема по материалам статьи, рисунок 3, раздел 4 и таблицы 5–7. Обучаются LoRA языковой части; Gaze-LLE, LR-ASD и зрительный кодировщик заморожены. Речь не подаётся как сырой звук в VLM: используются оценки говорящего и текст. На входе один ключевой кадр, обрезка наблюдателя и текущая/две предыдущие реплики. Предполагается взгляд на одного из кандидатов; объяснение генерируется после выбора и не определяет его.

Результаты. SORBET содержит 3340 отобранных пар «кадр–наблюдатель» из 241 эпизода Friends, The Big Bang Theory и Superstore; тест — 843 примера с непересекающимися эпизодами. Полный Nunchi достигает точности личности 86,7% против 81,9% лучшего адаптированного Gaze-LLE; при пяти и более кандидатах — 76,0% против 68,0% лучшей базовой альтернативы. Замена ручных текстов распознаванием Whisper снижает общую точность лишь до 86,4%. На AVA-LAEO без дообучения добавление разговорных признаков даёт 91,0%, но на VGS перенос существенно труднее.

Ограничения. Сериалы постановочные, кадр один, а отбор предполагает взгляд на одного из перечисленных людей. Объекты, взгляд за кадр и переходы внимания исключены; исходно лишь 45,8% размечаемых примеров имели человека-кандидата как итоговую цель. Привязка имён к лицам требует известных личностей. Это не сквозное понимание сырого аудио и не готовая система внимания для произвольного совещания; измеренных задержки и стоимости полного набора экспертов нет.

Фишка из статьи. Таблица 5 показывает, что ценность реплики определяется её связью с участниками. Дополнительные зрительные признаки — глубина, взаимные взгляды, граф и стрелка — не улучшили исходный вариант. А сочетание двух разговорных подсказок сильнее суммы их отдельных эффектов, особенно в многолюдном кадре.

Подсказки поверх геометрии взглядаВсе примеры, %≥5 кандидатов, %
Без разговорных83,367,0
Только говорящий85,274,0
Только текст83,264,0
Говорящий + текст86,776,0

Как это читать: текст без адресной опоры даже немного ухудшает результат, тогда как поверх говорящего добавляет 1,5 процентного пункта. Для практической системы это аргумент в пользу согласованных идентификаторов людей между модулями, а не простого добавления ещё одной текстовой модальности.

Источник. Оригинальное название: Nunchi: Ears Help Eyes in Multi-Party Conversations. arXiv:2611.23115; полный текст PDF.

Оригинальная статья на arXiv