S2SND-v2: единая потоковая и полная диаризация с дикторно-адаптированным w2v-BERT 2.0
S2SND-v2 улучшает не только акустический кодировщик диаризации, но и способ получения представлений дикторов. Перекрывающиеся голоса исключаются из запросов на извлечение дикторского вектора, а обучение специально показывает новых участников, начинающих говорить поздно. Это важно для потока: неверно сохранённый голос затем загрязняет решения следующих блоков.
Метод. Два связанных декодера исходного S2SND по очереди используют дикторские векторы для активности и активность для извлечения векторов. Новый фронтенд переносится из верификации диктора на w2v-BERT 2.0 с послойными адаптерами и объединением глубин. Структурное прореживание сокращает кодировщик с 580 до 91 млн параметров. Маскирование перекрытия использует эталонную активность при обучении и предсказанную на выводе. Если чистой речи диктора меньше 1,28 с, его вектор не принимается как надёжный. Полный режим повторно декодирует запись с накопленными векторами.
Результаты. На восьми наборах средний DER уменьшается с 17,15 до 14,52% в потоке и с 14,45 до 12,03% в полном режиме относительно переобученного S2SND. Оценка идёт без эталонного VAD и с нулевым допустимым отклонением границ. Номинальная задержка 0,80 с складывается из шага 0,64 с и просмотра вперёд 0,16 с при окне 8 с. После полного обучения компактный вариант даже превосходит показанный полноразмерный маршрут по среднему DER, но он включает дополнительные улучшения, поэтому это не чистая победа прореживания.
Ограничения. Средний DER невзвешенный по восьми корпусам и не равен ошибке на их общей длительности. Используются реальные обучающие части всех этих доменов, а не перенос только из синтетики. Разные маршруты прореживания имеют разные истории обучения и оптимизации. Маскирование может оставить слишком мало чистых кадров: на некоторых корпусах добавление компонента ухудшает DER. FLOPs указаны за один полный проход восьмисекундного окна; повторение перекрывающихся окон увеличивает работу на секунду потока. Фактические RTF и задержка обнаружения нового диктора отдельно не приведены.
Фишка из статьи. Кумулятивная абляция таблицы 1 показывает, за счёт чего компактная система догоняет большой кодировщик. Размер здесь включает кодировщик и ещё 33 млн остальных параметров.
| Конфигурация | Параметры, млн | FLOPs за окно, млрд | DER поток / полный, % |
|---|---|---|---|
| Полный w2v-BERT, исходный задний модуль | 580 + 33 | 475,37 | 14,74 / 12,15 |
| Прореживание до диаризации | 91 + 33 | 75,63 | 15,26 / 12,70 |
| То же + обработка перекрытия | 91 + 33 | 75,63 | 14,75 / 12,23 |
| То же + поздний новый диктор | 91 + 33 | 75,63 | 14,52 / 12,03 |
Как это читать: основная экономия вычислений оплачивается небольшой потерей исходного компактного маршрута, а улучшенные запросы и условия появления диктора эту потерю компенсируют. Онлайн- и офлайн-показатели нельзя смешивать: второй режим получает дополнительную информацию из всей записи. Это аргумент в пользу согласования обучения с моментом появления нового участника, а не только увеличения акустического кодировщика.
Источник. Оригинальное название: S2SND-v2: Unified Online and Offline Speaker Diarization with Speaker-Adapted w2v-BERT 2.0. arXiv:2610.34707; полный текст PDF.