A Common Measure of Communication for Speech Brain-Computer Interfaces

Точность распознавания плохо сравнивает речевые нейроинтерфейсы с разным словарём: система на 50 слов может быть безошибочной, но передавать меньше смысла, чем шумная система с открытым словарём. Авторы предлагают OVMI — открытословарную взаимную информацию, которая умножает информационную ценность внутри словаря на долю естественной речи, покрываемую этим словарём.

Метод. Мера учитывает распределение слов, матрицу ошибок и лексическое покрытие; когда полной матрицы нет, используется симметричная приближённая модель. Ею пересчитываются опубликованные результаты речевых нейроинтерфейсов и выбирается словарь для декодера на LibriBrain. Критерий отбора максимизирует ожидаемую информацию, а не просто частоту слова или точность на обучении.

Результаты. В ретроспективе закрытые системы на 50 слов передают лишь 2,4–6,7% доступной лексической информации, тогда как система со словарём 125 тысяч слов достигает 72%, а более поздняя открытословарная — 93,7%. При выборе слов из 250 кандидатов OVMI повышает пиковую точность относительно частотного словаря на 15,4 пункта на TIMIT, 16,3 на подкастах и 8,4 на Sherlock; результаты усреднены по пяти инициализациям и проверены перестановочными тестами.

Ограничения. Приближение с однородными ошибками может скрывать систематические смешения слов. Мера считает перефразирование выходом из словаря, хотя смысл может сохраниться, и пока учитывает лексику, а не контекст сообщения. Сравнение старых исследований также не устраняет различия участников, электродов и протоколов.

Фишка из статьи. Игрушечный пример ясно показывает, почему процент правильных слов способен перевернуть инженерный выбор.

Как это читать: система A вдвое точнее по обычной метрике, но система B передаёт примерно в 14 раз больше информации за выбор слова. Для нейроинтерфейса расширение словаря может быть полезнее ещё нескольких процентов точности на искусственно узком наборе.