PEDBench: умеют ли речевые модели обнаруживать фонетические ошибки
PEDBench проверяет, способны ли речевые модели находить и правильно диагностировать замены, пропуски и вставки фонем. Тест соединяет естественные детские ошибки, специально сыгранные взрослые произнесения и синтез с управляемыми фонемами. Сильная сторона работы — отделение хорошей фонемной транскрипции от надёжного обнаружения ошибок и демонстрация того, как качество разваливается на длинных фрагментах.
Метод. Новые части набора содержат 334 детские записи, 1188 актёрских и 1083 синтетических произнесения; разметка произведена или проверена двумя специалистами по фонетике. Оцениваются 13 базовых систем: распознаватели фонем, специализированная оценка произношения и речевые языковые модели. Предлагаются метрики, требующие не только отметить ошибку, но и верно определить реализованную фонему. Для Qwen2.5-Omni и Audio Flamingo 3 также проверяется LoRA-адаптация на TIMIT и синтетической речи с ошибками.
Результаты. На актёрской речи адаптированный Qwen получает F1 90,06 против 76,17 у GPT-Audio-1.5 и 75,98 у Azure Speech. На детской речи тот же подход даёт только 63,47; Audio Flamingo 3 после адаптации — 63,82. Разрыв сохраняется даже при контролируемом синтезе: Azure достигает F1 74,32 на отдельных словах, 39,27 на предложениях и 13,06 на отрывках. Падает прежде всего точность положительных решений, то есть система всё чаще объявляет правильные фонемы ошибочными.
Ограничения. Набор не покрывает весь спектр языков, речевых нарушений и клинических условий. Детские записи не разрешено публиковать; открытыми планируются актёрская и синтетическая части. Синтезатор не всегда воспроизводит требуемую ошибку, поэтому данные требуют ручной проверки. Улучшение после адаптации ещё не доказывает надёжность для автоматического обучения или диагностики детей.
Фишка из статьи. Одна и та же система может выглядеть пригодной на изолированных словах и непригодной на длинной речи. Ниже — Azure Speech на синтетической части, без смены класса модели между условиями.
| Уровень записи | Precision, % | Recall, % | F1 |
|---|---|---|---|
| Отдельное слово | 70,69 | 78,34 | 74,32 |
| Предложение | 26,10 | 79,30 | 39,27 |
| Отрывок | 7,10 | 80,57 | 13,06 |
Как это читать: полнота почти не меняется, но precision падает в десять раз. Система продолжает находить реальные ошибки, одновременно создавая множество ложных замечаний; для оценки произношения это существенно опаснее, чем можно заключить по одной высокой полноте.
Источники. Страница arXiv; PDF статьи. Оригинальное название: PEDBench: Can Speech Models Detect Phonetic Errors?.