Omnilingual-MsASR: проверка распознавания длинных многоязычных разговоров с несколькими дикторами

Omnilingual-MsASR проверяет распознавание слов вместе с дикторами и временными метками на длинных аудиовидеозаписях. В отличие от обычного WER, протокол различает правильные слова, правильную принадлежность говорящему и правильное положение во времени. Ключевая проблема крупных универсальных моделей здесь часто связана с пропуском речи и временной структурой, а не только с ошибочным выбором диктора.

Метод. Набор охватывает испанский, французский, японский, корейский, русский и тайский языки, записи до 30 минут и до 20 дикторов. Входы аудио и видео параллельны, длительности разбиты на диапазоны от 20 секунд до получаса. Проверяются доля разбираемых структурированных ответов Parse, DER, cpWER с оптимальным сопоставлением дикторов и tcpWER с дополнительным временным ограничением. Это позволяет увидеть ошибки, которые обычная транскрипция без времени и говорящих маскирует.

Результаты. На русском Qwen3.8-Omni-Flash имеет Parse 100%, DER 18,5%, cpWER 30,5% и tcpWER 49,1%. У Gemini-3.8-Flash Parse также 100%, но tcpWER достигает 118,9% при cpWER 40,2%. Специализированная moss-transcribe-diarize-7B получает DER 16,3%, cpWER 27,1% и tcpWER 29,8%. В исходной таблице ошибки записаны долями: здесь они переведены в проценты. WER выше 100% допустим при большом числе вставок.

Ограничения. Неразобранные ответы исключаются из расчёта словесных ошибок, поэтому cpWER и tcpWER нужно читать вместе с Parse, а не как безусловную оценку всех записей. Например, у Qwen3-Omni-30B-Thinking на русском Parse составляет 82%. Сложность языков смешана с составом видео и качеством разметки. Коммерческие версии и интерфейсы меняются, а наличие видео во входном наборе само по себе не доказывает пользу видео для каждой системы.

Фишка из статьи. Разложение усреднённой DER семи моделей показывает неожиданную структуру отказа: общий показатель 54,4% складывается главным образом из не найденной речи, а не из перестановки личностей.

Как это читать: замена только модуля представлений диктора не устранит большую часть потерь. Нужны контроль покрытия речи, устойчивость сегментации и корректная выдача временных интервалов. Это согласуется с разрывом cpWER и tcpWER: слова могут быть относительно верными, но приписанными неверному месту записи. Хорошо сформированный JSON или стопроцентный Parse не гарантируют ни одного из этих акустических свойств.

Источник. Оригинальное название: Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models. arXiv:2610.29455; полный текст PDF.