Динамическое отсечение гипотез в распознавании речи: сложность поиска и реальная цена языковой модели

Современный распознаватель большую часть времени уверен в одном продолжении, но на трудных участках ему нужен кратковременный широкий поиск. Фиксированная малая ширина теряет правильные гипотезы, а большая постоянно оплачивает ненужные варианты. Работа возвращает в сравнение CTC и монотонных трансдьюсеров классическое динамическое отсечение по разности оценок.

Метод. В RASR реализованы поиск с лексиконом и без него, подсловные и словесные языковые модели, раздельные пороги после акустического и языкового вклада. Гипотеза удаляется, если её отрицательная логарифмическая оценка хуже лучшей более чем на заданный порог; максимальная ширина остаётся дополнительным ограничением. Используются LibriSpeech-960, 2500 часов Loquacious и внутренние испанские телефонные данные. Параметры подбираются с сохранением WER; отдельно измеряется доля ошибочно отсечённых эталонных путей.

Результаты. С трансдьюсером и словесным Transformer на LibriSpeech dev-other при ширине 1024 WER остаётся 3,8%, а RTF поиска уменьшается с 5,781 до 0,310, на 94,6%. С подсловной LSTM при ширине 128 WER 4,5% сохраняется при переходе RTF с 0,074 до 0,025. Это время только поиска: кодировщик исключён. На A10 его отдельный RTF около 0,003; нейросетевые части поиска выполняются на GPU, логика и 4-граммная модель на CPU.

Ограничения. Результаты ограничены временно-синхронными моделями и конкретным устройством реализации. Для AED и больших аудиоязыковых декодеров сравнимость счётчиков гипотез не установлена. Испанский набор закрытый, настройки поиска подбираются под режим. Без внешней языковой модели в проверенных случаях жадный поиск уже оптимален и динамическое отсечение ничего не даёт. Его преимущества нельзя автоматически переносить на произвольную промышленную систему.

Фишка из статьи. Таблица IV показывает, почему медиана числа гипотез обманчива. Ниже один трансдьюсер со словесным Transformer на LibriSpeech dev-other, при изменении порога и предельной ширины.

Как это читать: малая типичная нагрузка не означает, что можно безопасно запретить редкие пики. Нужна возможность расшириться в момент акустической неопределённости или сильного языкового пересчёта. Для испанской телефонии даже медиана достигает сотен гипотез, поэтому универсальная фиксированная ширина 1–8 особенно ненадёжна. RTF в исходных таблицах масштабирован на 10³; здесь значения переведены в обычный вид.

Источник. Оригинальное название: A Systematic Comparison of Search Space Complexity and Efficiency for Time-Synchronous End-to-End ASR Models. arXiv:2610.31259; полный текст PDF.