MS-Bench: оценка многодикторного распознавания по условиям разговора, а не только по среднему WER
Две системы с близким средним WER могут ошибаться совершенно по-разному: терять слова, путать людей или сжимать временную шкалу. MS-Bench раскладывает оценку многодикторного распознавания по условиям разговора и стадиям ошибки. Такой разбор помогает понять, какой компонент надо исправлять, вместо выбора победителя по одному числу.
Метод. Из открытых и внутренних источников отбираются 32,72 часа записей с 2–14 участниками, преимущественно на китайском и английском, но с примерами ещё пяти языков. Пять измерений описывают число голосов, перекрытие, сходство голосов, интервалы смены участников и акустическое качество. Сходство оценивается CAM++, качество совместно DNSMOS и NISQA. Сравнения условий по возможности проводятся внутри одной единицы распознавания; интервалы неопределённости получают повторной выборкой целых записей. WER разделяется на лексические и сегментационные ошибки, а ошибочная принадлежность реплик человеку оценивается отдельно.
Результаты. Сильное перекрытие увеличивает лексические ошибки на 27,2–38,6 процентного пункта и ошибки атрибуции на 4,2–19,1 пункта у всех семи систем. Близость к смене диктора повышает атрибуционные ошибки на 1,51–4,17 пункта без значимого общего ухудшения лексики. Сходство голосов связано с их перепутыванием даже без перекрытия: корреляции Спирмена 0,248–0,323. При этом обычные лексические ошибки доминируют в суммарном WER: 19,27–38,17% против 1,32–6,02% сегментационных.
Ограничения. Часть источников внутренняя; результаты зависят от доступности данных и текущих коммерческих интерфейсов. Разным системам требуются разные разбиения длинных записей. Неподдающиеся оценке ответы исключаются: например, у MOSS-Transcribe-Diarize-Pro таких единиц 15, поэтому качество на оставшихся нельзя отрывать от покрытия. Группа с девятью и более участниками происходит из одного корпуса; авторы не трактуют её как чистый причинный эффект числа людей. Корреляции акустического качества также не доказывают причинность.
Фишка из статьи. «Система заметила речь» и «система верно записала речь этого человека» оказываются разными достижениями. Внутри опорных областей перекрытия авторы отдельно проверяют временное покрытие и принадлежность.
| Проверка в перекрывающейся речи | Диапазон по системам | Смысл |
|---|---|---|
| Граница найдена с точностью ±0,5 с | 39,9–85,3% | Представлена временная структура |
| Речь покрыта хотя бы одним голосом | 71–93% | Что-то обнаружено в нужный момент |
| Речь покрыта правильным голосом | 31–63% | Сохранена принадлежность человеку |
Как это читать: большой процент обнаруженной речи ещё не означает корректную многодикторную расшифровку. Последние две строки различаются намного сильнее, чем можно ожидать по одному показателю покрытия. Для совещаний нужны совместные проверки текста, личности и времени, причём интервалы нельзя складывать: это диапазоны разных измерений по нескольким системам.
Источник. Оригинальное название: MS-Bench: A Condition-Stratified Multi-Speaker ASR Benchmark. arXiv:2610.25824; полный текст PDF.