Слоты — не дикторы: связывание участников для потоковой диаризации без дообучения

Фиксированные выходные слоты потокового диаризатора ограничивают число одновременно представимых голосов, но не обязательно число людей за весь разговор. Работа добавляет внешний причинный модуль, который узнаёт повторное использование слота и связывает его фрагменты с долговременными личностями. Базовая модель остаётся замороженной, а интервалы активности не изменяются.

Метод. Модуль оставляет наиболее чистые 60% кадров, делит дорожку слота при смене голоса, получает векторы TitaNet-large и сопоставляет их с банком центроидов. Одновременная активность запрещает объединять два соответствующих фрагмента. Пороги сходства, запас при смене личности и подтверждение нового участника защищают уже правильные назначения. Новая личность требует 15 с речи либо более десяти фрагментов: короткие появления могут остаться под старой меткой.

Результаты. На 1418 сеансах восьми корпусов, 213,5 часа, DER четырёхслотового Sortformer при более чем четырёх участниках снижается с 36,81 до 22,64%. При четырёх или менее — с 15,32 до 15,24%, то есть практически не меняется. На судебных заседаниях cpWER уменьшается с 82,7 до 24,4%. Дополнительный модуль работает на CPU с RTF 0,019, однако сохраняет исходный профиль задержки модели 30,4 с, а не превращает её в малозадержочную систему.

Ограничения. Все улучшения достигаются только уменьшением путаницы дикторов: пропуски и ложная активность остаются прежними по построению. Многие участники представлены всего в 53 сеансах с числом голосов выше восьми; проверка ограничена максимумом 23. Часть сравнительных моделей имеет пересечения обучающих корпусов. Офлайн-системы с полным доступом к записи остаются сильнее по ряду итоговых оценок.

Фишка из статьи. Абляция таблицы 1 показывает, что защитные правила нужны в разных режимах. Ниже приведена только путаница дикторов, не полный DER.

Как это читать: на коротком списке людей главная задача — не испортить верное решение: банк защищает от ошибочного объединения. При большом числе участников сильнее влияет качество голосовых представлений. Поэтому простое расширение числа слотов или уменьшение кодировщика не эквивалентно устойчивому сопровождению личности во времени.

Источник. Оригинальное название: Slots Are Not Speakers: Training-Free Speaker Linking for Frozen Streaming Diarizers. arXiv:2610.28053; полный текст PDF.