CASA: Content-Acoustic Speaking Assessment with Speech Encoder and Large Language Model

CASA оценивает устный английский двумя явно разделёнными путями: акустический путь отвечает за подачу, а языковая модель читает распознанный ответ и условие задания. Разница с лучшим предыдущим RMSE слишком мала для заявления о новом уровне точности; настоящая ценность работы в более компактной схеме и честной проверке разброса между повторными обучениями.

Метод. Замороженный Whisper-medium одновременно выдаёт расшифровку и, через LoRA, кадры акустических признаков с шагом 40 мс. Двухслойный Transformer сводит их к четырём мягким токенам и вспомогательной оценке CEFR; ошибка последней не штрафуется внутри допуска ±1 балл и имеет вес 0,1. Qwen3.5-2B получает эти токены, оценочную рубрику, вопрос, расшифровку и три простых признака беглости: длительность, долю тишины и скорость речи. Проверка проводится на 315 часах Speak & Improve Corpus 2025 с отдельными баллами для четырёх типов заданий.

Результаты. CASA получает RMSE 0,358 и корреляцию Пирсона 0,829; 84,7% оценок отклоняются не более чем на 0,5 балла. Предыдущая система NTNU имеет RMSE 0,360 при оценочных 6,24 млрд параметров против 3,13 млрд у CASA. Увеличение языковой модели до 4B не помогает: RMSE 0,364. В десяти повторах среднее CASA равно 0,363 с 95%-м интервалом 0,359-0,367; отключение вспомогательной цели ухудшает среднее до 0,367.

Ограничения. Проверка выполнена на одном корпусе экзаменационного английского, внешнего переноса на другие языки и форматы заданий нет. Акустическая ветвь обучается по общей оценке CEFR, поскольку отдельной разметки произношения и беглости нет; поэтому разделение «подача против содержания» архитектурное, а не подтверждённое независимыми метками. Число параметров двух конкурентов оценено по описаниям, расшифровки вычислены заранее, а часть разброса сохраняется даже при одинаковом зерне случайности.

Фишка из статьи. Первый запуск с повышенной скоростью обучения дал впечатляющий RMSE 0,350, но повторить его не удалось. Девять дополнительных запусков превратили кажущийся выигрыш в худшую и нестабильную конфигурацию.

Как это читать: единичный минимум 0,350 выглядел бы новым лучшим результатом, но среднее 0,378 и широкий интервал показывают обратное. Вспомогательная акустическая цель даёт небольшой, зато устойчивый выигрыш около 0,004 RMSE.