Акустические и лексические признаки родного языка у изучающих английский

Родной язык учащегося оставляет след не только в произношении, но и в лексике и грамматике второго языка. Работа сравнивает акустический классификатор с анализом транскрипции и показывает, что их относительная сила зависит от уровня владения английским и длины ответа. При этом общую победу одного канала нельзя переносить на каждый уровень CEFR.

Метод. К замороженному WavLM Large обучают смесь слоёв, объединение с вниманием и классификационную голову. Текстовый вариант использует GPT-4o без обучения на целевых примерах, с перестановкой вариантов ответа и маскированием имён, географических и явных языковых подсказок. BULATS-L1 содержит 270 контрольных заявок, поровну по шести родным языкам и уровням A1–C1, с непересекающимися дикторами обучения. Обучающий звук составляет 86,4 часа от 769 человек. На выводе аудио разбивается на 30-секундные фрагменты, вероятности которых усредняются.

Результаты. Полный акустический вход даёт точность 85,56% и Macro-F1 85,37%, полный текст 82,59 и 82,60%. На A1 звук намного сильнее, 81,48 против 48,15%, но на C1 текст лучше, 92,59 против 81,48%. Простое смешивание распределений достигает максимума 94,81% при весе аудио 0,60. Это лучшая точка исследованной кривой, а не независимо подтверждённая настройка для нового корпуса. При сокращении текста до ста слов общая точность падает до 60,00%.

Ограничения. Шесть самоотчётных языковых категорий и один экзаменационный домен не покрывают многоязычие и смешанный языковой опыт. Сравниваются обучаемая акустическая голова и готовая большая языковая модель, не две архитектуры при одинаковом надзоре. Пересечение уровня CEFR с длиной ответа частично контролируется, но не устраняет все различия содержания. В Speak & Improve нет эталонного родного языка: 89,7% согласия предсказаний по ручной и машинной транскрипции при WER 9,2% не означает 89,7% точности определения языка.

Фишка из статьи. Таблицы 2–3 позволяют проверить объяснение «текст на A1 слаб только потому, что его мало». Ограничение 200 слов сохраняет разницу между уровнями, хотя это верхний предел: короткие ответы не дополняются искусственно.

Как это читать: длина объясняет значимую часть преимущества текста, особенно на C1, но не всю слабость A1. Небольшое ухудшение A1 при добавлении остального текста также показывает немонотонность на маленькой выборке: по 54 заявки на уровень. Аудио и транскрипция дополняют друг друга, но из этих данных нельзя делать вывод, что высокий уровень английского обязательно стирает акустические следы родного языка.

Источник. Оригинальное название: Acoustic and Lexical Signals for Native Language Identification of Language Learners. arXiv:2610.32382; полный текст PDF.