VISH-ASR: отбор контекстных слов по CTC-вероятностям с помощью поиска Витерби
VISH проверяет акустическую поддержку каждого контекстного слова до передачи короткого списка речевой языковой модели. Вместо поиска по уже распознанной строке используется весь покадровый выход CTC: ранняя ошибка транскрипции не должна уничтожать слабое свидетельство редкого имени. Новый модуль не требует обучать отдельную модель поиска.
Метод. M-VISH объединяет кандидатов в префиксное дерево и ведёт общий синхронный по кадрам поиск Витерби с ограниченным top-K. Bi-MVISH дополнительно обращает последовательности кадров и токенов, затем усредняет оценки двух направлений. Это помогает словам со слабым началом, но требует будущих кадров внутри сегмента. Оценки могут поступать из встроенного CTC-модуля либо из внешнего замороженного SenseVoice-Small.
Результаты. На пяти тестах M-VISH повышает Best-F1 относительно воспроизведённого GLCLAP на 0,9–11,7 п.п. На LibriSpeech test-other с 2000 кандидатами Best-F1 составляет 87,7% для M-VISH и 88,8% для Bi-MVISH против 82,4%. Для Prompt-SLAM-ASR двунаправленный отбор снижает ошибку по контекстным словам с 10,7 до 8,0% при общем WER 3,1%. Показатель Best-F1 описывает лучший порог, не готовую калибровку для любой эксплуатации.
Ограничения. Скорость поиска измерена без извлечения акустических представлений. Внешний кодировщик добавляет 234 млн параметров и отдельный проход. Двунаправленная версия не является строго покадрово-потоковой. Проверены английские и китайские наборы, ограниченные словари и подсказка Top-10; перенос на произвольные формы слов, шумные потоки и большой открытый каталог отдельно не доказан.
Фишка из статьи. Таблица 4 показывает реальный компромисс скорости: выигрыш в 75,2% относится к CTC-Assistant, а не к самому быстрому сравнению.
| Отбор, 2000 кандидатов | Поиск, мс на реплику | Best-F1 на Libri-other-2k, % |
|---|---|---|
| CTC-Assistant | 817 | Не приводится в этом протоколе |
| GLCLAP | 78 | 82,4 |
| M-VISH | 203 | 87,7 |
| Bi-MVISH | 400 | 88,8 |
Как это читать: GLCLAP остаётся быстрее, тогда как Витерби даёт более точную проверку кандидатов. Обратное направление почти удваивает стоимость M-VISH ради дополнительной точности. Выбирать вариант следует по допустимой задержке и наличию встроенных CTC-вероятностей, обязательно прибавляя стоимость кодировщика к указанному времени поиска.
Источник. Оригинальное название: VISH-ASR: Viterbi-Guided Selection of Hotwords for Speech-LLM Contextual ASR. arXiv:2610.27867; полный текст PDF.