Nemotron 3 Diarization: потоковая диаризация с восемью говорящими и временным разрешением 10 мс
Nemotron 3 Diarization обновляет потоковый Sortformer: поддерживает до восьми говорящих и восстанавливает активности на сетке 10 мс. Авторы меняют не только размер сети, но и представление кеша, временное разрешение и обучение пустых выходных каналов. Показательная деталь: более правильное число говорящих может почти не отражаться в привычной DER.
Метод. Вместо FastConformer и последующего Transformer используется 31-слойный Transformer с RoPE и стеком входных признаков на шаге 80 мс. Субпиксельная свёртка увеличивает разрешение в восемь раз. AOSC хранит упорядоченные представления говорящих; дополнительные потери различают тишину, одного и нескольких активных участников и подавляют фиктивную активность неиспользуемых каналов. Модель на 99 млн параметров инициализируется из масштабного NEST-предобучения; обучение включает синтетические, реальные и автоматически размеченные разговоры.
Результаты. На DIHARD III DER равна 12,73% при входном буфере 30,4 с и 13,55% при 0,32 с; на CALLHOME — 9,10% и 11,32%. Протокол учитывает перекрытия, а допуск на границах различается между корпусами. На RTX PRO 5000 Blackwell в прогретом скомпилированном режиме при 0,32 с получена скорость 54-кратного реального времени против 21 у прежнего Sortformer. Входной буфер, вычислительное время и задержка приложения здесь разные величины.
Ограничения. Масштабное предобучение и часть лицензированных данных затрудняют точное воспроизведение с нуля. Восемь выходных каналов не означают неограниченное число участников. Сравнения DER чувствительны к протоколу разметки границ; абляции выполнены с одним запуском, поэтому мелкие различия не следует объявлять статистически надёжными. Производительность на одной современной GPU не доказывает аналогичный режим на CPU.
Фишка из статьи. Таблица 3 и её разбор показывают, зачем отдельно считать ошибку количества говорящих. Удаление phantom loss почти не меняет DER, но резко увеличивает среднюю абсолютную ошибку числа участников при малом буфере.
| Потери / буфер | DER, % | Ошибка числа говорящих, MAE |
|---|---|---|
| Полные / 30,4 с | 10,42 | 0,157 |
| Без phantom / 30,4 с | 10,41 | 0,222 |
| Полные / 0,32 с | 12,06 | 0,270 |
| Без phantom / 0,32 с | 12,15 | 0,491 |
Как это читать: небольшая ложная активность дополнительного канала занимает мало времени и слабо влияет на DER, но создаёт лишнего участника для интерфейса и последующего распознавания. Выбор функции потерь имеет смысл оценивать по конечному поведению системы, а не только по одной агрегированной временной ошибке.
Источник. Оригинальное название: Nemotron 3 Diarization: Advancing the Accuracy-Efficiency Frontier in Streaming Speaker Diarization. arXiv:2611.12246; полный текст PDF.