Уточнение диаризации EEND-VC с общим кодировщиком и декодером по профилям говорящих
В EEND-VC локальные участки речи могут быть найдены правильно, но получить неверные глобальные имена говорящих после кластеризации. Работа добавляет к DiariZen уточняющий декодер, который использует уже вычисленные акустические представления. Ключевой вопрос — исправляет ли он именно идентичности или лишь меняет баланс пропусков и ложных обнаружений.
Метод. Локальная сегментация и уточнение имеют отдельные обучаемые смеси слоёв общего WavLM либо сокращённого w2v-BERT 2.0. Профили извлекаются из участков без наложения голосов; декодер сравнивает кандидатов с сохранёнными акустическими признаками. Априорная активность ограничивает ранжирование и число одновременно говорящих, а полностью молчащие кадры остаются молчащими. В совместном обучении обновляют кодировщик и обе выходные части, но кластеризация и построение профилей остаются вне графа обучения.
Результаты. На 1209 записях из восьми корпусов средняя по корпусам DER снижается с 12,95% до 12,40% для WavLM и с 12,35% до 12,08% для w2v-BERT. Совместная система достигает 11,90%. Используются нулевая допустимая окрестность границ и учёт перекрытия речи. На H20 при размере пакета 64 RTF для w2v-BERT меняется с 0,0180 до 0,0207: примерно на 15%, без второго акустического кодирования. Это вычислительная производительность пакетного офлайн-тракта, не задержка интерактивного разговора.
Ограничения. Уточнение требует предварительной диаризации всей записи и пригодных профилей: исключённого кандидата оно не вернёт. Нужны окна по 16 с с шагом 1,6 с и хранение признаков. RAMC немного ухудшается, а выигрыш совместного обучения не изолирован чистой абляцией: различаются инициализация, выбор априорных профилей и контрольная процедура. Меньшая средняя DER не гарантирует улучшения на каждом домене.
Фишка из статьи. Разложение ошибки из таблицы 1 раскрывает разные причины выигрыша. Замороженное уточнение уменьшает путаницу говорящих, но повышает ложные обнаружения; дополнительный эффект совместного обучения в основном связан с обнаружением речи.
| w2v-BERT: вариант | FA, % | Пропуск, % | Путаница SC, % | DER, % |
|---|---|---|---|---|
| DiariZen | 3,92 | 5,45 | 2,98 | 12,35 |
| Замороженное уточнение | 4,14 | 5,39 | 2,55 | 12,08 |
| Совместная система с уточнением | 4,05 | 5,28 | 2,57 | 11,90 |
Как это читать: у последнего варианта DER лучше, хотя SC чуть хуже, чем у замороженного уточнения. Поэтому утверждение «лучше распознаёт, кто говорил» нельзя выводить только из итоговой DER. Показатели округлены отдельно, из-за чего их сумма может немного отличаться от DER, рассчитанной без округления.
Источник. Оригинальное название: Sequence-to-Sequence Refinement for EEND-VC Diarization with a Shared Encoder. arXiv:2611.02709; полный текст PDF.