Диаризация Потоковая обработка Оценка говорящих
arXiv eess.AS

Nemotron 3 Diarization: потоковая диаризация с восемью говорящими и временным разрешением 10 мс

ArXiv:2611.12246

Nemotron 3 Diarization обновляет потоковый Sortformer: поддерживает до восьми говорящих и восстанавливает активности на сетке 10 мс. Авторы меняют не только размер сети, но и представление кеша, временное разрешение и обучение пустых выходных каналов. Показательная деталь: более правильное число говорящих может почти не отражаться в привычной DER.

Метод. Вместо FastConformer и последующего Transformer используется 31-слойный Transformer с RoPE и стеком входных признаков на шаге 80 мс. Субпиксельная свёртка увеличивает разрешение в восемь раз. AOSC хранит упорядоченные представления говорящих; дополнительные потери различают тишину, одного и нескольких активных участников и подавляют фиктивную активность неиспользуемых каналов. Модель на 99 млн параметров инициализируется из масштабного NEST-предобучения; обучение включает синтетические, реальные и автоматически размеченные разговоры.

Результаты. На DIHARD III DER равна 12,73% при входном буфере 30,4 с и 13,55% при 0,32 с; на CALLHOME — 9,10% и 11,32%. Протокол учитывает перекрытия, а допуск на границах различается между корпусами. На RTX PRO 5000 Blackwell в прогретом скомпилированном режиме при 0,32 с получена скорость 54-кратного реального времени против 21 у прежнего Sortformer. Входной буфер, вычислительное время и задержка приложения здесь разные величины.

Ограничения. Масштабное предобучение и часть лицензированных данных затрудняют точное воспроизведение с нуля. Восемь выходных каналов не означают неограниченное число участников. Сравнения DER чувствительны к протоколу разметки границ; абляции выполнены с одним запуском, поэтому мелкие различия не следует объявлять статистически надёжными. Производительность на одной современной GPU не доказывает аналогичный режим на CPU.

Фишка из статьи. Таблица 3 и её разбор показывают, зачем отдельно считать ошибку количества говорящих. Удаление phantom loss почти не меняет DER, но резко увеличивает среднюю абсолютную ошибку числа участников при малом буфере.

Потери / буферDER, %Ошибка числа говорящих, MAE
Полные / 30,4 с10,420,157
Без phantom / 30,4 с10,410,222
Полные / 0,32 с12,060,270
Без phantom / 0,32 с12,150,491

Как это читать: небольшая ложная активность дополнительного канала занимает мало времени и слабо влияет на DER, но создаёт лишнего участника для интерфейса и последующего распознавания. Выбор функции потерь имеет смысл оценивать по конечному поведению системы, а не только по одной агрегированной временной ошибке.

Источник. Оригинальное название: Nemotron 3 Diarization: Advancing the Accuracy-Efficiency Frontier in Streaming Speaker Diarization. arXiv:2611.12246; полный текст PDF.

Оригинальная статья на arXiv