Earlybird: предиктивное потоковое распознавание речи с 29 млн параметров
Earlybird учится выдавать слово до окончания его звучания и отдельно угадывать два следующих слова. Это способ раньше запускать подготовку ответа голосового помощника, но выигрыш куплен пересмотрами гипотез: отрицательная задержка здесь не означает безошибочно подтверждённую расшифровку.
Метод. Основой служит Moonshine streaming Tiny с блоками по 80 мс. Сокращение словаря до 19 007 токенов уменьшает модель до 29 млн параметров. Во время обучения аудио обрезается на случайном шаге, а целевые слова записываются полностью, даже если прозвучало только начало. После маркера конца текста добавляются два будущих слова. Дистилляция применяется лишь там, где учитель совпадает с правильной меткой. Три кадра из добавленной тишины помогают завершить гипотезу, не раскрывая будущего аудио.

Результаты. На полном LibriSpeech test-clean медиана первого правильного появления слова составляет −90 мс относительно его конца. В отдельной небольшой проверке 68,8% слов правильно появляются заранее и затем не меняются при пороге уверенности 0,5. На восьми английских наборах средний WER в сопоставимой выборке составляет 11,4% в полной точности и 12,6% при четырёхбитном хранении; Moonshine Tiny runtime даёт 14,4%. Размер четырёхбитного выпуска 16,8 МБ. Один поток Xeon Platinum 8488C тратит в среднем 39 мс на шаг 80 мс, p95 64 мс.
Ограничения. Только английский язык. В фоновой речи при 10 дБ WER растёт до 32,0% против 8,9% у Whisper base. Некоторые сравнения задержки используют лишь 67–150 фраз; опорные границы слов имеют погрешность принудительного выравнивания. Ранние результаты нельзя напрямую превращать в необратимые действия без политики подтверждения.
Фишка из статьи. Полезная цена опережения видна при сопоставлении времени и стабильности. В таблице 1 на с. 5 для одних и тех же 67 чистых фраз авторы считают число отозванных слов на одно произнесённое слово, а не только финальный WER.
| Система | Медиана задержки, мс | Пересмотров на слово | WER, % |
|---|---|---|---|
| Earlybird | −90 | 1,29 | 2,3 |
| Moonshine Tiny runtime | +270 | 2,07 | 3,9 |
| Whistle | +400 | 0,16 | 3,1 |
| Whisper base | +90 | 0,39 | 2,3 |
Как это читать: Earlybird раньше и точнее Moonshine в этом режиме, но значительно менее стабилен, чем Whistle. На спонтанной и шумной речи авторы наблюдают 2–6 пересмотров на слово. При проектировании помощника нужно отдельно оценивать раннюю подсказку, окончательный текст и стоимость отменённой подготовки ответа.
Источник. Оригинальное название: Earlybird: Predictive Streaming Speech Recognition in 29M Parameters. arXiv:2611.14421; полный текст PDF.