Ускорение распознавания речи без потери качества с помощью спекулятивного декодирования EAGLE

Авторы переносят EAGLE-стиль спекулятивного декодирования в распознавание речи и строго проверяют предложенные токены основной моделью. Поэтому ускорение не меняет ни WER, ни BLEU: при любом отклонении черновой модели используется результат исходного декодера.

Метод. Малый Speech-Draft объединяет признаки акустического кодировщика с несколькими уровнями декодера и за один проход предлагает последовательность будущих токенов. Его обучают на собственных расшифровках целевой модели, что лучше согласует распределения, чем внешняя разметка. Основная модель параллельно подтверждает максимально длинный правильный префикс.

Результаты. Whisper-large ускоряется в 1,91 раза на LibriSpeech test-clean и в 1,79 раза на test-other при среднем принятом префиксе 3,79/3,55 токена. Для Conformer-Transducer с черновиком 10 млн параметров ускорение равно 2,43/2,30 раза. На пяти языках VoxPopuli среднее — 2,09 раза, а для перевода речи — 1,62 раза; во всех случаях изменение WER или BLEU равно нулю.

Ограничения. Для каждой целевой модели нужен обученный черновик; подход рассчитан на авторегрессионный декодер. Задержка измерена на одной RTX 4090 для законченных фраз, поэтому цифры не описывают потоковый первый токен и полный тракт ввода-вывода.

Фишка из статьи. Ускорение держится не на одном лёгком декодере: без акустического контекста спекуляция почти перестаёт работать.

Как это читать: языковое продолжение без связи со звуком настолько часто отвергается, что добавляет накладные расходы и замедляет систему. Акустические признаки — центральная часть метода, а не вспомогательная деталь.

Источник: arXiv:2610.13506. Оригинальное название: Lossless Inference Acceleration for ASR via EAGLE-Style Speculative Decoding.