SMART: контекстная оценка смысловых последствий ошибок распознавания речи
SMART оценивает не просто число исправлений в транскрипции, а то, какие из них меняют смысл. Расхождения эталона и гипотезы объединяются в связные участки и получают явные контекстные метки последствий. Это делает смысловую оценку проверяемой на уровне конкретной ошибки, а не только похожести целых предложений.
Метод. Языковая модель применяет структурированные критерии к каждому участку; метки агрегируются в Semantic Impact Error Rate на уровне реплики, фрагмента и лексических единиц. Для оценивания доступны эталон и по десять соседних реплик с каждой стороны. Для отдельной задачи исправления используются только гипотеза и соседние распознанные реплики, без эталонного целевого текста. Проверены 3,4 часа китайско-английской учебной речи и 7,2 часа английских выступлений TED-LIUM3.
Результаты. На размеченных людьми расхождениях F1 определения смыслового последствия составляет 0,843 против 0,745 у прямого запроса языковой модели. Без контекста SMART получает 0,822. При исправлении SenseVoice критерии дополнительно снижают MER с 10,43 до 9,58% на Canvas Speech и с 12,94 до 11,96% на TED; соответствующий лексический SIER уменьшается с 6,96 до 5,31% и с 5,11 до 3,93%.
Ограничения. Человеческая проверка включает по 300 выбранных расхождений на корпус, а не все возможные ошибки и домены. Один набор внутренний; длинные однодикторные записи не представляют весь разговорный поток. Полная оценка требует правильного эталона и будущего контекста, поэтому не является причинной онлайн-метрикой. Перенос между языковыми оценщиками не идеален: в таблице 4 F1 варьируется от 0,774 до 0,843.
Фишка из статьи. Таблица 2 показывает конкретный переворот ранжирования: пропуск отрицания оказывается «дешевле» лишних слов по WER, но гораздо опаснее по смыслу.
| Гипотеза для одной реплики | WER, % | Лексический SIER, % |
|---|---|---|
| A: пропущено существенное отрицание | 8,33 | 8,33 |
| B: отрицание сохранено, добавлены несущественные слова | 16,67 | 0,00 |
Как это читать: меньшее число текстовых правок не гарантирует более верного сообщения. SIER полезен как дополнение к WER и средство разбора риска, но его нулевое значение зависит от контекста и правил оценщика. В системе исправления важно также считать новые смысловые ошибки: свободное переписывание текста может улучшить гладкость, одновременно исказив утверждение.
Источник. Оригинальное название: SMART: Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics. arXiv:2610.27820; полный текст PDF.