RoleHear: псевдоразметка для потокового распознавания речи с ролями участников
Распознаватель может быстро заметить смену говорящего, но ещё не знать, клиент это или оператор. RoleHear разделяет эти решения: маркер границы выдаётся сразу, название роли после нескольких слов. Один потоковый трансдьюсер обучается транскрибировать и проставлять роли, не подключая на рабочем пути отдельную диаризацию или большую языковую модель.
Метод. Полный по контексту Parakeet-TDT-0.6B дообучают на ролях и однократно размечают им дополнительное аудио. Nemotron-Speech-Streaming-EN-0.6B учится на смеси исходной и псевдоразметки. Для корпусов без человеческих ролей Gemma-4-12B-IT получает аудио текущего фрагмента, его слова и соседние расшифровки в пределах пяти минут с каждой стороны. Служебные токены добавляют в словарь RNN-T. Потоковый ученик откладывает роль на одно слово, сохраняя сам текст и маркер границы без этой отсрочки.
Результаты. При правом контексте 80 мс и таком же размере блока алгоритмическая задержка слов составляет 160 мс. На Earnings-21 дообучение только по размеченной части даёт WER/RWER/F1 7,74/31,78/64,06%, RoleHear 7,56/27,55/72,95%; на Earnings-22 соответственно 12,93/42,29/52,16 и 12,33/35,80/65,97%. Пять запусков подтверждают повторяемость. На закрытых сервисных звонках улучшается RWER относительно каскада с 12B-разметчиком, но макро-F1 ему всё ещё уступает.
Ограничения. На Earnings эталон ролей автоматически создан той же большой моделью, поэтому это проверка согласия с её разметкой, не полностью независимая человеческая оценка. Gold-проверка сервисных звонков закрыта, абсолютные показатели там скрыты за разностями. Роль относится к заранее заданному набору функций участников, а не к уникальной личности каждого диктора. 160 мс не включает вычисления и не обещает готовую роль через 160 мс: средняя дополнительная отсрочка роли около 360 мс.
Фишка из статьи. Таблица 4 показывает, что качество роли можно купить двумя разными видами ожидания. Здесь только дообучение на Earnings-21, без выигрыша от псевдоразметки.
| Отсрочка роли, слов | Правый контекст, блоков | Задержка всех слов, мс | Дополнительная отсрочка роли, мс | Макро-F1, % |
|---|---|---|---|---|
| 0 | 0 | 80 | 0 | 42,55 |
| 0 | 13 | 1120 | 0 | 65,93 |
| 1 | 0 | 80 | около 360 | 63,39 |
| 1 | 1 | 160 | около 360 | 64,06 |
Как это читать: одно слово контекста для определения роли почти заменяет секунду ожидания всего потока. В интерфейсе можно показывать слова и границу сразу, дописывая роль позже. Но макро-F1 и RWER оптимизируют разные вещи: высокая F1 роли не гарантирует, что правильные слова отнесены к правильной роли, поэтому выбор задержки сделан по RWER.
Источник. Оригинальное название: RoleHear: Pseudo-Labeling for Semi-Supervised Role-Attributed Streaming Speech Recognition. arXiv:2610.33765; полный текст PDF.