Диаризация без дополнительного обучения: объединение сходств нейросетевой и эмбеддинговой систем

Авторы объединяют две разные геометрии диаризации до окончательной кластеризации: непрерывное акустическое сходство сегментов и локальные связи нейросетевой системы DiariZen. В отличие от голосования по готовым разбиениям, TFAF сохраняет мягкую структуру графа и не требует дообучения или доступа к параметрам исходных моделей.

Метод. Базовая Equal-w-MS-Clus строит матрицу сходств по эмбеддингам. Из одного запуска DiariZen извлекаются локальные связи и центроиды говорящих, которые добавляются в эту матрицу как мягкие аффинности; затем выполняется глобальная кластеризация. Все основные сравнения используют одинаковую эталонную разметку речевой активности.

Результаты. На AMI DER уменьшается с 1,08 у Equal-w-MS-Clus и 1,54 у DiariZen до 0,85; число слов, приписанных не тому говорящему, падает с 739 и 859 до 465. На CALLHOME DER снижается с 3,85 и 4,17 до 2,74. TFAF также превосходит трёхсистемный DOVER-Lap по CALLHOME и по ошибкам атрибуции текста.

Ограничения. Основные результаты используют эталонную речевую активность, перекрытия игнорируются, а гиперпараметры проверены только на AMI и CALLHOME. Распознанный текст фиксирован, поэтому работа не оценивает совместное обучение с распознаванием речи и чувствительность к реальному VAD.

Фишка из статьи. Точная оценка числа говорящих оказывается вредной, если превратить её в жёсткое глобальное ограничение. DiariZen угадывает число участников CALLHOME в 83,6% файлов, лучше базовой системы с 71,7%, но прямое навязывание этого числа ухудшает DER до 4,85.

Как это читать: проблема не в плохой оценке числа говорящих, а в потере неопределённости. Мягкие связи позволяют акустическому графу исправить локальную ошибку, тогда как жёсткое число заставляет всю запись подчиниться одному решению.