Не только средний WER: адаптация, речь учащихся, смена языков и диаризация на онлайн-занятиях испанским

В учебном разговоре ошибки чаще приходятся на учащихся, короткие английские вставки и исправления, хотя большинство слов произносит преподаватель по-испански. Авторы проверяют шесть конфигураций на реальных онлайн-занятиях и раздельно считают ошибки слов, языковых условий и принадлежности реплики. Небольшой подходящий корпус существенно помогает MOSS, но средний WER всё ещё скрывает трудные группы.

Метод. Whisper large-v3 и MOSS-Transcribe-Diarize адаптируются LoRA ранга 64 на 38 исправленных человеком сессиях, 15,6 часа. Рецепт фиксируется перекрёстной проверкой без пересечения учащихся. MOSS получает длинные записи и совместно выдаёт текст и говорящего, Whisper обучается короткими окнами и при проверке использует эталонные границы. Семь новых сессий, около 3,51 часа, сравниваются также с Zoom и Muse Voice Transcribe. Понятные ненормативные формы учащегося сохраняются в эталоне; для оценок по роли используются ручные, а не предсказанные роли.

Результаты. MOSS после адаптации снижает общий WER с 26,52% до 16,39%, относительный выигрыш 38,2%; CER 19,08→12,71%. Whisper улучшается скромнее, 34,50→32,30% WER. Muse имеет 15,59%, но интервалы по сессиям широко перекрываются с MOSS, поэтому порядок лидеров не установлен. У адаптированного MOSS WER преподавателей 13,46%, учащихся 24,04%; только испанский 14,77%, смешанная реплика 21,44%, только английский 24,14%. Добавление более крупных внешних двуязычных корпусов не улучшило выбранную адаптацию.

Ограничения. Всего семь тестовых сессий одного учреждения и сочетание испанского с английским. Сегментация и режимы вывода различаются, поэтому измеряется конфигурация целиком, не чистый эффект архитектуры. Исправление Zoom может наследовать смещение, хотя небольшая независимая разметка по аудио его не обнаружила. Удаление заполнителей и общие WER не оценивают сохранность всех ошибок учащегося. DER имеет суммарный допуск 0,25 с и учитывает наложения, но считается на частично разных допустимых поднаборах; прямое статистическое ранжирование по нему необоснованно.

Фишка из статьи. Сравнение показывает две разные причины выбрать систему: точность текста и правильный участник. DER ниже приведён описательно, не как строго парный тест на идентичных записях.

Как это читать: лучшее точечное число ошибок слов не гарантирует полезного распределения участия в занятии. При этом низкую ошибку платформенных меток Zoom 2,64% нельзя добавлять в этот рейтинг: платформа знает участников и оценивалась другим способом. Для анализа учебного диалога нужны одновременно отдельная проверка учащихся, смешанных реплик и принадлежности слов, иначе усреднение систематически отдаёт преимущество простому большинству.

Источник. Оригинальное название: Beyond Aggregate WER: In-domain Adaptation, Learner Speech, Code-Switching, and Speaker Attribution in Online Spanish Learning Classrooms. arXiv:2610.38016; полный текст PDF.