PhonoBridge: восстановление текста по электромиограмме через фонемы с учётом ошибок
PhonoBridge разделяет декодирование беззвучной артикуляции на две задачи: получить фонемы из многоканальной электромиограммы и восстановить текст из ошибочной фонемной последовательности. Языковую модель обучают не на произвольном шуме, а на характерных ошибках реального первого этапа. Это связывает качество физиологического сигнала с языковым восстановлением без прямого отображения EMG в свободный текст.
Метод. Канально-зависимый кодировщик и представления электродов формируют CTC-последовательность. На отдельно отложенных обучающих данных измеряются замены, вставки и удаления с зависимостью от фонемы и длины фразы. EPGA воспроизводит эти профили при искажении чистых пар фонемы–текст. Qwen3-8B с LoRA сначала получает миллион чистых пар из LibriSpeech, затем миллион искажённых с 200 тысячами повторно предъявленных чистых. На выводе используется жадное декодирование.
Результаты. На официальном разбиении восьмиканального Open Vocabulary итоговый WER равен 24,77% против 28,27% у Gaddy and Klein и 29,45% у EMG2Vec. Полный фронтенд даёт PER 13,65%; без поканальной обработки и представлений электродов — 33,43%. Ошибка остаётся достаточно высокой: это исследовательский результат на определённом корпусе, не доказанная готовность повседневного речевого интерфейса.
Ограничения. Не показан широкий перенос на новое размещение электродов, новых пользователей и длительный дрейф физиологического сигнала. Профиль ошибок получен из того же обучающего домена и может изменяться при эксплуатации. Дополнительные текстовые пары велики по сравнению с EMG-корпусом. Внешние опубликованные системы сравниваются на общем тесте, но не обязательно при одинаковых вычислительных ресурсах и предварительном обучении.
Фишка из статьи. Таблица 3 выявляет неочевидный фактор: чистые фонемы сами по себе плохо готовят языковую модель к реальному выходу сенсорного кодировщика.
| Обучение текстового этапа | WER, % | CER, % |
|---|---|---|
| Только чистые фонемы | 66,53 | 34,53 |
| Только искажённые EPGA | 29,41 | 17,23 |
| Смешанные данные, один этап | 25,89 | 22,39 |
| Чистые, затем смешанные | 24,77 | 14,58 |
Как это читать: разница между синтетически правильным входом и фактическими ошибками датчика важнее простого добавления языковой модели. При этом смесь в один этап даёт иной компромисс WER и CER, чем последовательное обучение. Протокол ошибок и порядок адаптации нужно считать частью метода, а не второстепенной настройкой.
Источник. Оригинальное название: PhonoBridge: Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction. arXiv:2610.27678; полный текст PDF.