За пределами видимых говорящих: контекстное определение речевой активности с регистрацией диктора

Если несколько лиц одновременно видны в кадре, решение «этот человек говорит» полезно принимать с учётом остальных кандидатов. ROAM-ASD-C добавляет такое межлицевое взаимодействие, а вариант CR вводит кандидатов по заранее записанному голосу. Это расширяет задачу от выбора видимого лица до обнаружения речи знакомого диктора даже при полном отсутствии его изображения.

Метод. Исходные ветви аудио, лица и рта сохраняются. Представления пересекающихся по времени лиц выравниваются на общую временную сетку и проходят контекстный блок перед независимыми бинарными головами активности. Независимость решений допускает тишину и одновременную речь. Для регистрации замороженный ECAPA-TDNN усредняет 192-мерные признаки из 1–3 отрезков длиной до 3 с. Голосовые токены участвуют в том же блоке, получая головы активности и связи с лицом. Обучение включает отсутствующих в сцене зарегистрированных дикторов; совпавший с текущим окном участок регистрации исключается из соответствующего надзора.

Результаты. Вариант C достигает mAP 96,8% на AVA, 98,9% WASD, 88,8% UniTalk, 98,7% Talkies и 99,5% ASW. Прирост над исходным ROAM-ASD на AVA всего 0,3 п.п., но при удалении 75% изображения целевого лица возрастает до 3,1 п.п.; на UniTalk до 13,3 п.п. На AVA с одним лицом результат слегка меняется 97,9→97,8%, с тремя улучшается 89,2→91,4%: контекст помогает именно там, где есть другие кандидаты.

Ограничения. Удаление входа искусственное; другие лица в этом испытании остаются преимущественно доступными. Это не проверка одновременного исчезновения всех камер в естественной записи. Регистрация требует заранее чистых голосовых образцов и не открывает неизвестную личность без такого образца. AP активности, mAP видимых лиц и точность сопоставления лица имеют разные знаменатели. Нет полноценной оценки сквозной задержки и цены детекции/отслеживания лиц.

Фишка из статьи. Таблица 3 показывает, сколько идентифицирующей информации даёт именно голосовая регистрация при удалении изображения всех кандидатов. Сопоставление с обычной лицевой ветвью иллюстрирует смену доступной информации, а не равные условия двух систем.

Как это читать: самая сложная проверка UniTalk остаётся далека от решённой, несмотря на малую частоту срабатываний на посторонние регистрации. Система умеет сказать, говорит ли известный голос, но это не равнозначно универсальной диаризации неизвестных участников. Практическая архитектура должна различать эти два режима.

Источник. Оригинальное название: Beyond Visible Speakers: Context-Aware Active Speaker Detection with Speaker Registration. arXiv:2610.33127; полный текст PDF.