Дообучение распознавателя для речи с нарушениями: выигрыш и ловушки оценки

Дообучение Parakeet TDT 1.1B на речи людей с нарушениями существенно снижает ошибку, но эта работа интереснее обычного отчёта о месте в соревновании. Авторы отдельно проверяют знакомство с говорящим и знакомство с предложением. Повторение текста оказывается связано с более сильным улучшением, чем повторение голоса, поэтому единственный общий CER способен скрыть трудности на новой речи.

Метод. Полностью дообучается открытая модель в NeMo примерно на 950 часах SAP от более чем 1100 говорящих, без внешней или синтетической речи. Усреднение весов нескольких дообученных моделей даёт один распознаватель, не ансамбль при выводе. Для анализа знакомых предложений обучена отдельная модель с отложенными записями 300 обучающих говорящих и 124 новыми говорящими. Доверительные интервалы получают 2000 повторными выборками говорящих, а не независимым пересэмплированием всех записей.

Результаты. На скрытом Test1 SAPC2 лучшая система получает 7,81% CER и 11,69% WER против 15,26/21,53% у официального ориентира. Без включения говорящих панели выбора в обучение CER равен 7,87%. На новых предложениях самой трудной группы CER исходного Parakeet снижается с 51,88 до 30,62%, относительное уменьшение около 41%. Группы образованы по ошибке Whisper, а не по клинической тяжести. Потоковые CPU-заявки получают CER 7,96–8,07%; поздние варианты выдают первое стабильное слово через медианные 0,41–0,42 с, финальный текст после конца речи через 0,44–0,52 с.

Ограничения. Второй скрытый тест ещё не опубликован. Панель выбора содержит 41 человека, после инсульта всего четырёх; интервалы по состояниям широки. Анализ знакомства использует отдельную одиночную модель, не лучшую усреднённую заявку. Группы отличаются длиной и типами запросов, а записи знакомых говорящих взяты из тех же сессий: причинный эффект персонализации не установлен. Сумма двух медиан задержки 0,85–0,93 с не является медианой их суммы и тем более RTF. Пригодность оставшихся ошибок для реального общения с пользователями не проверялась.

Фишка из статьи. Таблица 4 меняет обе оси знакомства. Ниже CER отдельной аналитической модели; «знакомое» означает присутствие в её обучении, а не в предобучении всех сравниваемых распознавателей.

Как это читать: исходная модель ошибается на знакомых текстах новых говорящих даже сильнее, поэтому дело не только в их естественной простоте. После сопоставления длин разрыв уменьшается с примерно 2,5 до 1,7 раза, но не исчезает: CER 4,89 против 8,32%. Для испытания распознавателя разумно одновременно исключать обучающих говорящих и отмечать повторённые тексты, а не считать эти проверки взаимозаменяемыми.

Источник. Оригинальное название: Fine-Tuning a Transducer for Impaired Speech: Where the Gains Appear and What They Mean for Evaluation. arXiv:2611.07587; полный текст PDF.