Оценка речи Дизартрия Аудиоязыковые модели
arXiv eess.AS

Аудиоязыковые модели для многомерной оценки дизартрической речи

ArXiv:2611.23768

Одна оценка «качества» плохо описывает дизартрическую речь: естественность, разборчивость, монотонность и точность согласных меняются по-разному. Работа обучает аудиоязыковые модели выдавать отдельные перцептивные оценки по запросу. Особенно полезен результат о переносе: обучение обычному качеству звучания иногда ухудшает чувствительность к патологическим признакам до адаптации на клинических записях.

Метод. Сначала модели дообучаются на семи характеристиках QualiSpeech, затем на пяти характеристиках Speech Accessibility Project: естественность, монотонность высоты, разборчивость, неточность согласных и неуместные паузы. Шкалы различаются: в QualiSpeech 1–5 и больше означает лучше; в SAP 1–7 и больше означает более выраженное нарушение. LoRA имеет ранг 8; каждая запись сопровождается инструкцией о конкретном измерении. Mix использует один набор параметров для всех пяти задач, Single — пять отдельных обучений. Из 120 пациентов исходной обучающей части выделены 108 для обучения и 12 для проверки; исходная валидация из 61 пациента становится независимым тестом, поскольку официальные тестовые метки недоступны.

Шкала качества и шкала нарушения — разные задачи и направления. QualiSpeech: 7 свойств: Шкала 1–5: выше означает лучшее качество. Этап 1: LoRA, ранг 8: Инструкция выбирает оцениваемое свойство. SAP: 108 пациентов: Новое: адаптация к пяти свойствам дизартрии. Этап 2: один Mix: Новое: одна модель, пять типов инструкций. 61 независимый пациент: Исходная валидация SAP стала тестом. Выраженность 1–7: Выше — хуже; корреляция с оценкой специалиста.
Схема по материалам статьи, разделы 2–4, таблицы 1–3. Стадии обучения последовательны; тестовые пациенты не участвуют в адаптации. Объединены пять инструкций Mix и внутренние аудио/языковые блоки. В QualiSpeech больше — лучше, в SAP больше — сильнее нарушение. Это редакторская схема оценки, не клиническая диагностическая процедура. Новое обозначено словом и цветом; стадия SAP без QualiSpeech отдельно не проверена.

Результаты. Qwen2.5-Omni в режиме Mix достигает Spearman 0,828 для естественности, 0,584 для монотонности, 0,610 для разборчивости, 0,700 для согласных и 0,631 для пауз. Средняя корреляция 0,670 уступает 0,716 пяти специализированных вариантов той же основы. video-SALMONN 2 Plus, напротив, выигрывает от объединения: среднее растёт с 0,587 до 0,640. У него выше корреляция разборчивости 0,635 и согласных 0,738. Следовательно, достоинства общего обучения зависят от модели и оцениваемого свойства, а не следуют автоматически из наличия инструкции.

Ограничения. Тестирование не смешивает пациентов между частями, но не доказывает перенос на другой язык, медицинский центр или домашний микрофон. Записи с тяжёлыми нарушениями редки: малая MAE пауз может частично отражать доминирование лёгких случаев. Это исследовательский оценщик, не валидированный диагностический инструмент. Нет контрольного обучения только на SAP без стадии QualiSpeech, поэтому конечный выигрыш нельзя причинно приписать предварительному обучению качеству. Экономия одного против пяти наборов адаптации также не обязательно означает пятикратное сокращение памяти общей базовой модели.

Фишка из статьи. В таблице 2 стадия QualiSpeech даёт отрицательный перенос на несколько свойств. Сильная финальная корреляция скрывает этот промежуточный провал, если сравнивать только исходную и последнюю модели. Все числа ниже — Spearman для одного Qwen2.5-Omni, а не оценки MOS.

Признак SAPБез адаптацииПосле QualiSpeechПосле SAP
Естественность0,3070,4440,828
Монотонность0,2640,1890,584
Разборчивость0,3280,1500,610
Неточность согласных0,4920,4190,700
Неуместные паузы−0,0730,0980,631

Как это читать: общая «приятность звучания» не заменяет шкалу выраженности нарушения. Разборчивость после первого этапа распознаётся хуже исходной моделью, а нужная чувствительность появляется после обучения на профильной разметке. Для внедрения требуются отдельные проверки калибровки и тяжёлых случаев, не только высокая корреляция по всему тесту.

Источник. Оригинальное название: Beyond Intelligibility: Fine-Grained Perceptual Assessment of Dysarthric Speech with Auditory Large Language Models. arXiv:2611.23768; полный текст PDF.

Оригинальная статья на arXiv