Pandemonium: распознавание длинных разговоров с взаимодействием между говорящими
Pandemonium распознаёт многоголосые разговоры с опорой на внешнюю диаризацию и учит ветви разных говорящих обмениваться информацией. Это развитие схемы, где одна запись независимо распознаётся для каждого участника. Интересен не только выигрыш в cpWER, но и эксперимент, в котором короткие обучающие окна практически обнуляют пользу добавленных взаимодействий.
Метод. Parakeet-TDT-0.6B-v3 адаптируется к длинным разговорам через локальное внимание и четыре состояния: тишина, целевой голос, чужой голос, перекрытие. В выбранных слоях добавлено внимание по оси говорящих, а уточняющая сеть корректирует активности. Для обучения используется CTC вместо дорогой решётки TDT; дополнительная выходная головка не нужна. После синтетических разговоров применяются автоматически размеченные YODAS и реальные встречи. Из 5,4 тыс. часов отобранных записей остаётся 4,6 тыс. на поддерживаемых языках.
Результаты. Средний cpWER на шести условиях с эталонной диаризацией снижается с 16,7% у DiCoP до 14,7%. С предсказанной диаризацией выигрыш скромнее: 19,8% против 19,2%. Объединение независимых микрофонных расшифровок через MOVER даёт 17,1%, но это уже не одноканальный режим. Скорость Pandemonium составляет 330-кратное реальное время против 405 у локальной CTC-базы в авторской конфигурации.
Ограничения. Система остаётся зависимой от качества внешней диаризации и не обучает весь тракт совместно от звука до разметки говорящих. Локальное внимание с будущим контекстом и обработка длинной записи не равны низкозадержечному потоковому режиму. Псевдоразметка и языковой состав ограничивают перенос; цифры с эталонной диаризацией нельзя выдавать за готовый результат в реальном разговоре.
Фишка из статьи. В нижней части таблицы 3 все варианты обучены только на синтетике и оценены на одном наборе условий. Именно это сравнение изолирует архитектуру и длину окна, без подмены их эффектом дополнительных реальных данных.
| Вариант | Средний cpWER, % |
|---|---|
| Взаимодействие и уточнение активности | 15,0 |
| Без уточняющей сети | 16,8 |
| Без уточнения и межголосового внимания | 17,1 |
| Полная архитектура, но окна 30 с | 17,1 |
Как это читать: короткое окно возвращает полную модель к уровню варианта без новых модулей. Значит, архитектурная возможность общаться между ветвями сама по себе недостаточна: обучение должно показывать достаточно длинные взаимодействия. Значение 13,1% из верхней части той же таблицы получено с другим составом данных и не является чистым эффектом архитектуры.
Источник. Оригинальное название: Pandemonium: Longform Target-Speaker Speech Recognition with Cross-Speaker Interactions. arXiv:2611.10659; полный текст PDF.