Почему исчезают малозаметные участники: пределы исправления диаризации без обучения
Низкая средняя ошибка диаризации ещё не означает, что система заметила каждого участника встречи. Работа разбирает пропавших говорящих отдельно от длительности ошибок: короткая реплика может почти не повлиять на DER, но полностью исчезнуть из протокола. Автор проверяет, какие потери связаны с перекрытием речи, а какие вызваны ограничением Nemotron-3 восемью выходными слотами, и испытывает исправления без переобучения.
Метод. Базовый проход по всей записи дополняется окнами 120 с, только если заняты все восемь слотов и запись короче 30 минут. Векторы CAM++ связывают локальные личности между окнами по косинусному сходству; два голоса из одного окна объединять запрещено. Фрагменты с суммарной речью менее 10 с исключают из ненадёжного связывания и возвращают к глобальным личностям первого прохода по временному совпадению, с дополнительной проверкой сходства. Альтернативный адаптивный вариант обрабатывает и длинные записи окнами 600 с, но не использует такое глобальное назначение. Это обработка готовой записи, а не новый потоковый детектор. Потеря определяется через оптимальное взаимно однозначное сопоставление с эталоном: нулевой охват человека; отдельно считают дополнительные выходные личности.

Результаты. Из 990 записей ICSI, AMI, VoxConverse и MSDWild 309 отведены калибровке, 681 — оценке. На оценочной части базовый Nemotron даёт DER 16,56%, глобальный оконный вариант — 15,57%, адаптивный — 15,67%. Число полностью потерянных говорящих уменьшается с 546 до 417 и 396 соответственно, но дополнительные личности растут с 50 до 100 и 236. При стандартной для этой таблицы оценке без воротника и с перекрытием эти изменения нельзя свести к одной ошибке времени. На MacBook M4 скорость RTFx меняется с 96 до 85 и 71; загрузка моделей не включена.
Ограничения. Порог 30 минут выбран после просмотра оценочных результатов, поэтому выигрыш глобального варианта не является полностью независимой проверкой настройки. Категории ошибок назначаются автоматически; приоритет перекрытия способен увеличить его долю. Обработка перекрывающихся коротких реплик остаётся слабым местом: попытки разделения и дополнительной кластеризации часто создают ложные личности. Результаты относятся к конкретным моделям и пяти наборам, а не к любому диаризатору с восемью слотами.
Фишка из статьи. Таблица 3 показывает, почему одинаковый DER не означает одинаковую пригодность протокола встречи. На 58 оценочных записях с девятью и более участниками два исправления дают ровно 14,99% DER, но совершенно разный баланс пропавших и выдуманных людей. «Дополнительные личности» здесь не равны ложной тревоге в секундах.
| Вариант, ≥9 участников | DER, % | Потеряно людей | Дополнительных личностей |
|---|---|---|---|
| Nemotron-3 | 20,10 | 228 | 5 |
| Глобальное назначение | 14,99 | 101 | 50 |
| Адаптивные окна | 14,99 | 79 | 132 |
Как это читать: адаптивная схема возвращает ещё 22 человека относительно глобальной, но добавляет 82 лишние личности. Выбор зависит от цены пропуска участника и дробления его речи, поэтому DER стоит сопровождать учётом людей и коротких реплик.
Источник. Оригинальное название: Why Do Low-Activity Speakers Disappear in Speaker Diarization? Decomposing Lost Speakers and What Training-Free Fixes Can Recover. arXiv:2611.19160; полный текст PDF.