Адаптация распознавания Дизартрия Доступность
arXiv cs.SD

Самостоятельная настройка распознавания речи для человека с дизартрией

ArXiv:2611.11327

Авторы описывают персональную адаптацию Whisper для европейского португальского у одного человека с выраженными особенностями речи. Пользователь сам собирает данные и участвует в разработке средства общения, а не только предоставляет записи исследователям. Ценность работы — воспроизводимый локальный процесс и продуманная проверка на новых предложениях, а не новый алгоритм адаптации.

Метод. Собраны 765 записей общей длительностью 3 ч 22 мин с обычного микрофона веб-камеры, без специальной очистки. Whisper medium и large-v3 дообучаются через LoRA в query/value-проекциях внимания кодировщика и декодера. Ранг 8 и скорость обучения выбираются по проверочной части; основные веса заморожены. Использован Mac Studio M4 Max с 64 ГБ общей памяти. Приложение связывает персональное распознавание с повторным синтезом, чтобы собеседник мог услышать более понятную речь.

Результаты. На 100 отложенных предложениях WER medium уменьшается с 49,2% до 17,0%, CER — с 26,0% до 7,3%. У large-v3 WER снижается с 30,4% до 12,4%, CER — с 15,6% до 5,4%. Таким образом, персонализированный medium заметно лучше более крупной неадаптированной модели. Эти числа относятся к чтению новых предложений тем же человеком; предварительное использование в разговоре описано качественно, без сопоставимого контролируемого теста.

Ограничения. Это единичный случай на одном языке и преимущественно в одинаковой записи. Он не устанавливает ожидаемый выигрыш для другого говорящего, другой степени нарушения или спонтанного диалога в шуме. WER 12,4% нельзя буквально преобразовать в долю безошибочных слов или гарантию сохранения смысла: в метрику входят вставки и удаления. Полной оценки задержки мобильного тракта и длительного пользовательского исследования нет.

Фишка из статьи. Необычная и важная часть — разделение авторства обучающих и тестовых фраз. Вторая сторона пишет тест, не читая обучающий набор; затем проверяется отсутствие случайных совпадений, а запись теста переносится на другой день.

Часть протоколаСоставЗащита от простого запоминания
Обучение и проверка765 фраз, разделение 85/15Выбор настроек только здесь
Отложенный тест100 новых фразДругой автор текста и другой день
Разнообразие говорящихОдин человекПеренос на других не проверяется

Как это читать: такой тест убедительнее случайного повторного чтения знакомых фраз и лучше соответствует цели персонального распознавателя. Однако независимость текста не создаёт независимости говорящего и акустической среды. Именно это различие позволяет одновременно признать практическую ценность результата и не объявлять решённой дизартрическую речь вообще.

Источник. Оригинальное название: DIY Customized Speech Recognition for a Person with Speech Disabilities. arXiv:2611.11327; полный текст PDF.

Оригинальная статья на arXiv