Диаризация Перекрывающаяся речь Анализ ошибок
arXiv eess.AS

Почему исчезают малозаметные участники: пределы исправления диаризации без обучения

ArXiv:2611.19160

Низкая средняя ошибка диаризации ещё не означает, что система заметила каждого участника встречи. Работа разбирает пропавших говорящих отдельно от длительности ошибок: короткая реплика может почти не повлиять на DER, но полностью исчезнуть из протокола. Автор проверяет, какие потери связаны с перекрытием речи, а какие вызваны ограничением Nemotron-3 восемью выходными слотами, и испытывает исправления без переобучения.

Метод. Базовый проход по всей записи дополняется окнами 120 с, только если заняты все восемь слотов и запись короче 30 минут. Векторы CAM++ связывают локальные личности между окнами по косинусному сходству; два голоса из одного окна объединять запрещено. Фрагменты с суммарной речью менее 10 с исключают из ненадёжного связывания и возвращают к глобальным личностям первого прохода по временному совпадению, с дополнительной проверкой сходства. Альтернативный адаптивный вариант обрабатывает и длинные записи окнами 600 с, но не использует такое глобальное назначение. Это обработка готовой записи, а не новый потоковый детектор. Потеря определяется через оптимальное взаимно однозначное сопоставление с эталоном: нулевой охват человека; отдельно считают дополнительные выходные личности.

Оконные личности согласуются с глобальным первым проходом. Полная запись → Nemotron-3: Первый проход: 8 слотов, буфер 30,4 с. Заняты все 8 и <30 мин?: Новое: только тогда повторный оконный анализ. Окна по 120 с: Локальная диаризация и CAM++ по одиночной речи. Связывание личностей: Новое: cosine ≥0,6; два голоса окна не объединять. Голоса с речью <10 с: Новое: не связывать по ненадёжным векторам. Итоговые личности: Короткие — по первому проходу; cosine <0,2 отдельно.
Схема по материалам статьи, разделы 6.1–6.2 и таблицы 2–3. Показано глобальное назначение, не альтернативный адаптивный режим. Пунктир: возврат к личностям первого прохода. При незанятых слотах или длительности ≥30 мин сохраняется первый проход без окон; эта ветвь опущена. Порог длительности выбран после просмотра оценки; это обработка готовой записи.

Результаты. Из 990 записей ICSI, AMI, VoxConverse и MSDWild 309 отведены калибровке, 681 — оценке. На оценочной части базовый Nemotron даёт DER 16,56%, глобальный оконный вариант — 15,57%, адаптивный — 15,67%. Число полностью потерянных говорящих уменьшается с 546 до 417 и 396 соответственно, но дополнительные личности растут с 50 до 100 и 236. При стандартной для этой таблицы оценке без воротника и с перекрытием эти изменения нельзя свести к одной ошибке времени. На MacBook M4 скорость RTFx меняется с 96 до 85 и 71; загрузка моделей не включена.

Ограничения. Порог 30 минут выбран после просмотра оценочных результатов, поэтому выигрыш глобального варианта не является полностью независимой проверкой настройки. Категории ошибок назначаются автоматически; приоритет перекрытия способен увеличить его долю. Обработка перекрывающихся коротких реплик остаётся слабым местом: попытки разделения и дополнительной кластеризации часто создают ложные личности. Результаты относятся к конкретным моделям и пяти наборам, а не к любому диаризатору с восемью слотами.

Фишка из статьи. Таблица 3 показывает, почему одинаковый DER не означает одинаковую пригодность протокола встречи. На 58 оценочных записях с девятью и более участниками два исправления дают ровно 14,99% DER, но совершенно разный баланс пропавших и выдуманных людей. «Дополнительные личности» здесь не равны ложной тревоге в секундах.

Вариант, ≥9 участниковDER, %Потеряно людейДополнительных личностей
Nemotron-320,102285
Глобальное назначение14,9910150
Адаптивные окна14,9979132

Как это читать: адаптивная схема возвращает ещё 22 человека относительно глобальной, но добавляет 82 лишние личности. Выбор зависит от цены пропуска участника и дробления его речи, поэтому DER стоит сопровождать учётом людей и коротких реплик.

Источник. Оригинальное название: Why Do Low-Activity Speakers Disappear in Speaker Diarization? Decomposing Lost Speakers and What Training-Free Fixes Can Recover. arXiv:2611.19160; полный текст PDF.

Оригинальная статья на arXiv