Самостоятельная настройка распознавания речи для человека с дизартрией
Авторы описывают персональную адаптацию Whisper для европейского португальского у одного человека с выраженными особенностями речи. Пользователь сам собирает данные и участвует в разработке средства общения, а не только предоставляет записи исследователям. Ценность работы — воспроизводимый локальный процесс и продуманная проверка на новых предложениях, а не новый алгоритм адаптации.
Метод. Собраны 765 записей общей длительностью 3 ч 22 мин с обычного микрофона веб-камеры, без специальной очистки. Whisper medium и large-v3 дообучаются через LoRA в query/value-проекциях внимания кодировщика и декодера. Ранг 8 и скорость обучения выбираются по проверочной части; основные веса заморожены. Использован Mac Studio M4 Max с 64 ГБ общей памяти. Приложение связывает персональное распознавание с повторным синтезом, чтобы собеседник мог услышать более понятную речь.
Результаты. На 100 отложенных предложениях WER medium уменьшается с 49,2% до 17,0%, CER — с 26,0% до 7,3%. У large-v3 WER снижается с 30,4% до 12,4%, CER — с 15,6% до 5,4%. Таким образом, персонализированный medium заметно лучше более крупной неадаптированной модели. Эти числа относятся к чтению новых предложений тем же человеком; предварительное использование в разговоре описано качественно, без сопоставимого контролируемого теста.
Ограничения. Это единичный случай на одном языке и преимущественно в одинаковой записи. Он не устанавливает ожидаемый выигрыш для другого говорящего, другой степени нарушения или спонтанного диалога в шуме. WER 12,4% нельзя буквально преобразовать в долю безошибочных слов или гарантию сохранения смысла: в метрику входят вставки и удаления. Полной оценки задержки мобильного тракта и длительного пользовательского исследования нет.
Фишка из статьи. Необычная и важная часть — разделение авторства обучающих и тестовых фраз. Вторая сторона пишет тест, не читая обучающий набор; затем проверяется отсутствие случайных совпадений, а запись теста переносится на другой день.
| Часть протокола | Состав | Защита от простого запоминания |
|---|---|---|
| Обучение и проверка | 765 фраз, разделение 85/15 | Выбор настроек только здесь |
| Отложенный тест | 100 новых фраз | Другой автор текста и другой день |
| Разнообразие говорящих | Один человек | Перенос на других не проверяется |
Как это читать: такой тест убедительнее случайного повторного чтения знакомых фраз и лучше соответствует цели персонального распознавателя. Однако независимость текста не создаёт независимости говорящего и акустической среды. Именно это различие позволяет одновременно признать практическую ценность результата и не объявлять решённой дизартрическую речь вообще.
Источник. Оригинальное название: DIY Customized Speech Recognition for a Person with Speech Disabilities. arXiv:2611.11327; полный текст PDF.