Смена реплик Аудиовизуальная речь Корпуса
arXiv cs.CL

AVCC: аудиовизуальный корпус для предсказания смены говорящего с человеческим ориентиром

ArXiv:2611.13957

AVCC превращает записи разговоров с одной камерой и одним микрофоном в тест предсказания следующего говорящего. Важное отличие от обычного определения конца реплики: в группе из трёх человек нужно не только понять, что слово передадут, но и назвать того, кто заговорит следующим. Людей и модели проверяют в одинаковых точках без последующего аудио.

Метод. Корпус содержит 29 непрерывных видео, 31 час, по два или три участника. Добавлены исправленные вручную расшифровки и временное выравнивание слов, а также отдельные семь тестовых видео без общих говорящих с обучением. Тест сбалансирован: 865 продолжений прежним говорящим и 865 смен. Наблюдатель видит до 10 секунд контекста, но не оставшуюся паузу и новую речь. После контроля качества оставлены ответы 154 участников. Сравниваются аудиомодель RoleVAP и аудиовизуальная MuVAP с логистической диагностической головой.

Результаты. На всех 1730 событиях сбалансированная точность определения продолжения/смены составляет 64,0% у среднего участника, 66,5% у RoleVAP и 67,9% у MuVAP. При необходимости назвать конкретное лицо MuVAP получает 63,3%, люди 59,5%. На подмножестве без равенства голосов человеческий коллектив достигает 67,7% по личности, MuVAP на тех же событиях 63,9%. RoleVAP не может назвать человека по одноканальной речи и оценивается только по продолжению/смене.

Ограничения. Мало исходных видео и заметная концентрация событий в отдельных записях, поэтому 1730 точек не равны 1730 независимым разговорам. Основная языковая разметка английская. Люди выступают внешними наблюдателями и не используют информацию внутри паузы; это не предел возможностей реального собеседника. Большинство голосов считается на сокращённой выборке, которую нельзя напрямую сравнивать с метрикой всех событий.

Фишка из статьи. Таблица 3 на с. 3 показывает, что добавление третьего человека усложняет именно установление личности следующего говорящего, а не бинарное обнаружение смены. Ниже сравнение выполнено на полном тесте, без подмены его подмножеством коллективного голосования.

СистемаЛичность, 2 человекаЛичность, 3 человекаПродолжение/смена, 2 / 3
Средний участник63,1%57,0%63,1% / 65,1%
MuVAP67,5%59,4%66,7% / 69,0%

Как это читать: MuVAP теряет 8,1 пункта при выборе личности, хотя бинарная задача даже улучшается. Поэтому высокая точность детектора конца реплики не означает, что робот правильно выберет адресата ответа. Корпус позволяет разделить эти ошибки и исследовать, когда зрительные подсказки действительно снимают неоднозначность.

Источник. Оригинальное название: AVCC: Audio-Visual Conversation Corpus for Turn-Taking Prediction with a Human Benchmark. arXiv:2611.13957; полный текст PDF.

Оригинальная статья на arXiv