Распознавание речи Потоковая обработка Задержка
arXiv cs.SD

Earlybird: предиктивное потоковое распознавание речи с 29 млн параметров

ArXiv:2611.14421

Earlybird учится выдавать слово до окончания его звучания и отдельно угадывать два следующих слова. Это способ раньше запускать подготовку ответа голосового помощника, но выигрыш куплен пересмотрами гипотез: отрицательная задержка здесь не означает безошибочно подтверждённую расшифровку.

Метод. Основой служит Moonshine streaming Tiny с блоками по 80 мс. Сокращение словаря до 19 007 токенов уменьшает модель до 29 млн параметров. Во время обучения аудио обрезается на случайном шаге, а целевые слова записываются полностью, даже если прозвучало только начало. После маркера конца текста добавляются два будущих слова. Дистилляция применяется лишь там, где учитель совпадает с правильной меткой. Три кадра из добавленной тишины помогают завершить гипотезу, не раскрывая будущего аудио.

Обучение Earlybird использует обрезанное аудио и полные слова из расшифровки. На выводе модель слышит только доступный префикс с тремя кадрами тишины, обновляется каждые 80 мс, выдаёт расшифровку и две догадки после маркера конца. Ранние слова могут пересматриваться.
Схема по материалам статьи, раздел 3 и таблица 1. Обучающие цели берутся из размеченной расшифровки; будущий звук на вход не подаётся. −90 мс — медиана первого правильного появления слова, не гарантированная задержка подтверждённого текста. Число 1,29 пересмотра на слово относится к 67 фразам LibriSpeech test-clean.

Результаты. На полном LibriSpeech test-clean медиана первого правильного появления слова составляет −90 мс относительно его конца. В отдельной небольшой проверке 68,8% слов правильно появляются заранее и затем не меняются при пороге уверенности 0,5. На восьми английских наборах средний WER в сопоставимой выборке составляет 11,4% в полной точности и 12,6% при четырёхбитном хранении; Moonshine Tiny runtime даёт 14,4%. Размер четырёхбитного выпуска 16,8 МБ. Один поток Xeon Platinum 8488C тратит в среднем 39 мс на шаг 80 мс, p95 64 мс.

Ограничения. Только английский язык. В фоновой речи при 10 дБ WER растёт до 32,0% против 8,9% у Whisper base. Некоторые сравнения задержки используют лишь 67–150 фраз; опорные границы слов имеют погрешность принудительного выравнивания. Ранние результаты нельзя напрямую превращать в необратимые действия без политики подтверждения.

Фишка из статьи. Полезная цена опережения видна при сопоставлении времени и стабильности. В таблице 1 на с. 5 для одних и тех же 67 чистых фраз авторы считают число отозванных слов на одно произнесённое слово, а не только финальный WER.

СистемаМедиана задержки, мсПересмотров на словоWER, %
Earlybird−901,292,3
Moonshine Tiny runtime+2702,073,9
Whistle+4000,163,1
Whisper base+900,392,3

Как это читать: Earlybird раньше и точнее Moonshine в этом режиме, но значительно менее стабилен, чем Whistle. На спонтанной и шумной речи авторы наблюдают 2–6 пересмотров на слово. При проектировании помощника нужно отдельно оценивать раннюю подсказку, окончательный текст и стоимость отменённой подготовки ответа.

Источник. Оригинальное название: Earlybird: Predictive Streaming Speech Recognition in 29M Parameters. arXiv:2611.14421; полный текст PDF.

Оригинальная статья на arXiv