Распознавание речи Диаризация Длинные записи
arXiv eess.AS

Pandemonium: распознавание длинных разговоров с взаимодействием между говорящими

ArXiv:2611.10659

Pandemonium распознаёт многоголосые разговоры с опорой на внешнюю диаризацию и учит ветви разных говорящих обмениваться информацией. Это развитие схемы, где одна запись независимо распознаётся для каждого участника. Интересен не только выигрыш в cpWER, но и эксперимент, в котором короткие обучающие окна практически обнуляют пользу добавленных взаимодействий.

Метод. Parakeet-TDT-0.6B-v3 адаптируется к длинным разговорам через локальное внимание и четыре состояния: тишина, целевой голос, чужой голос, перекрытие. В выбранных слоях добавлено внимание по оси говорящих, а уточняющая сеть корректирует активности. Для обучения используется CTC вместо дорогой решётки TDT; дополнительная выходная головка не нужна. После синтетических разговоров применяются автоматически размеченные YODAS и реальные встречи. Из 5,4 тыс. часов отобранных записей остаётся 4,6 тыс. на поддерживаемых языках.

Результаты. Средний cpWER на шести условиях с эталонной диаризацией снижается с 16,7% у DiCoP до 14,7%. С предсказанной диаризацией выигрыш скромнее: 19,8% против 19,2%. Объединение независимых микрофонных расшифровок через MOVER даёт 17,1%, но это уже не одноканальный режим. Скорость Pandemonium составляет 330-кратное реальное время против 405 у локальной CTC-базы в авторской конфигурации.

Ограничения. Система остаётся зависимой от качества внешней диаризации и не обучает весь тракт совместно от звука до разметки говорящих. Локальное внимание с будущим контекстом и обработка длинной записи не равны низкозадержечному потоковому режиму. Псевдоразметка и языковой состав ограничивают перенос; цифры с эталонной диаризацией нельзя выдавать за готовый результат в реальном разговоре.

Фишка из статьи. В нижней части таблицы 3 все варианты обучены только на синтетике и оценены на одном наборе условий. Именно это сравнение изолирует архитектуру и длину окна, без подмены их эффектом дополнительных реальных данных.

ВариантСредний cpWER, %
Взаимодействие и уточнение активности15,0
Без уточняющей сети16,8
Без уточнения и межголосового внимания17,1
Полная архитектура, но окна 30 с17,1

Как это читать: короткое окно возвращает полную модель к уровню варианта без новых модулей. Значит, архитектурная возможность общаться между ветвями сама по себе недостаточна: обучение должно показывать достаточно длинные взаимодействия. Значение 13,1% из верхней части той же таблицы получено с другим составом данных и не является чистым эффектом архитектуры.

Источник. Оригинальное название: Pandemonium: Longform Target-Speaker Speech Recognition with Cross-Speaker Interactions. arXiv:2611.10659; полный текст PDF.

Оригинальная статья на arXiv