Создание голосовых профилей по записям встреч и спискам приглашённых

Можно ли автоматически собрать голосовой профиль участника, сопоставляя анонимные дорожки из разных встреч со списками приглашённых? Работа формулирует эту задачу и показывает, насколько опасно считать приглашение доказательством присутствия голоса. Новизна прежде всего в протоколе: успех измеряется вместе с риском включить в профиль чужую речь.

Метод. Замороженный ReDimNet2-B3 превращает сегменты в 192-мерные представления. Метод строит межсессионные цепочки похожих кластеров и сопоставляет их ожидаемым наборам участников с возможностью отказаться от решения. В профиль выбираются три наиболее представительных сегмента; фрагменты короче четырёх секунд отбрасываются. Основной эксперимент использует эталонные внутрисессионные кластеры без наложенной речи. Синтетический набор повторяет статистику внутреннего архива, включая ошибочное включение в списки 13,5% и пропуск 8,3%.

Результаты. На синтетическом тесте с 2099 целями рабочая точка, выбранная при 10%-м бюджете загрязнения, даёт 35,16% строгого успеха и 9,34% загрязнения. Строгий успех означает три правильных сегмента без единого чужого, а не точность последующего распознавания говорящего. Перенос того же порога на 50 реальных целей даёт только 8% успеха при 4% загрязнения. При снятии порога реальные показатели достигают 40% и 30% соответственно.

Ограничения. Реальная проверка опирается на один закрытый архив. Человек, не попавший ни в один список, вообще исключён из оцениваемой популяции; совпадающие истинные шаблоны присутствия тоже не оцениваются. Требование минимум трёх упоминаний делает часть людей недостижимой уже по конструкции метода. Ошибки настоящей диаризации дополнительно снижают успех, а влияние новых профилей на конечный распознаватель не измерено.

Фишка из статьи. Таблица 3 отделяет настоящий перенос порога от подгонки на размеченном реальном тесте. Это редкий случай, когда статья прямо показывает, насколько оптимистична синтетическая рабочая точка.

Как это читать: последний столбец диагностический: порог выбирается по тем же реальным меткам, поэтому это не независимый тест. Ноль загрязнённых профилей среди 50 целей также не означает нулевой риск: авторы приводят одностороннюю верхнюю границу 5,82% при предположении независимости целей. Надёжный отказ от сомнительного профиля здесь важнее максимального охвата.

Источник. Оригинальное название: Attendance-guided speaker enrollment across meetings. arXiv:2611.04394; полный текст PDF.