SAC-WavLM: представления диктора с учётом речевой активности, обученные на реальных разговорах

Для связывания диктора между окнами разговора обычно вырезают только его чистые неперекрывающиеся участки. Если участник говорит преимущественно одновременно с другими, полезных фрагментов почти не остаётся. SAC-WavLM извлекает представление выбранного человека из целого разговорного окна, явно учитывая, где он и остальные участники активны.

Метод. Предобученный WavLM Base+ с MHFA получает четыре взаимоисключающие покадровые маски: тишина, только целевой голос, только остальные и перекрытие. Внутри кодировщика соответствующие диагональные аффинные преобразования меняют признаки, сохраняя исходную инициализацию. Для разных людей одно окно обрабатывается повторно с разными масками. При настройке на AMI и NOTSOFAR-1 центроиды дикторов фиксируются по исходным чистым фрагментам, чтобы небольшой набор участников не переопределил пространство голосов. Локальная EEND остаётся неизменной; окна имеют длину 16 с и сдвиг 1,6 с.

Результаты. С реальными оценёнными масками средняя ошибка смешения дикторов SC по семи корпусам уменьшается с 3,65 до 3,08%, на 15,7% относительно исходной модели. Полная DER с SphereVBx уменьшается с 13,2 до 12,6%, тогда как более сильная в этой таблице GSE на CAM++ даёт 12,4%. Оценка учитывает перекрытия и не использует прощающий интервал границ. Простая настройка WavLM на тех же реальных данных без обусловливания почти не помогает: SC 3,61%.

Ограничения. Метод исправляет связывание локальных участников, но не пропущенную речь и ложные срабатывания фиксированной EEND. Во время обучения маски известны из разметки, во время работы ошибаются; идеальная сегментация задаёт отдельное, более лёгкое условие. Несколько дикторов требуют нескольких проходов кодировщика. Сравнение с GSE не является доказательством абсолютного лидерства, а локальное окно на четыре участника ограничивает соответствующий режим системы.

Фишка из статьи. Дополнительные синтетические данные помогают при идеальной маске, но преимущество исчезает при реальной сегментации. Таблица II содержит среднюю SC, а не полную DER.

Как это читать: самая красивая оценка с известной активностью не определяет лучший рабочий вариант. Ошибки сегментации меняют распределение условий, и меньший реальный корпус оказывается полезнее дополнительного предварительного этапа на смесях. Поэтому точность обусловливающей маски надо включать в оценку, а не только в перечень входов модели.

Источник. Оригинальное название: Learning Speaker-Activity-Conditioned WavLM Speaker Embeddings with Real Conversational Data. arXiv:2610.25183; полный текст PDF.