Oído: распознавание речи с открытым словарём на микроконтроллере за $5 без нейроускорителя

Oído запускает распознавание речи с открытым словарём на ESP32-S3 стоимостью около пяти долларов, без нейроускорителя. Это не демонстрация ключевых слов: система выдаёт обычные текстовые токены и по точности на LibriSpeech обходит несколько более тяжёлых локальных решений.

Метод. Квантованный Conformer используется с CTC или трансдьюсерным декодером и словарём 1024 токена. Накопление нескольких кадров перед чтением весов уменьшает поток из внешней памяти с 18 до 7,5 МБ/с ценой 2,9% дополнительных инструкций. Для CTC доступна маленькая GRU-языковая модель.

Результаты. INT8-трансдьюсер получает WER 2,99/6,67% на test-clean/test-other; INT8 CTC с GRU — 3,33/7,15%. У vendor MultiNet7 это 8,5/21,3%, у Whisper-tiny на ноутбуке — 6,26/15,93%. Пиковая рабочая память составляет 1,9 МБ для 15 с и 2,4 МБ для 20 с записи.

Ограничения. Потоковый режим пока не работает в реальном времени: RTF 1,96, а ожидание окончательного результата для 20-секундной записи остаётся около 11,1 с. Обучение доменно-зависимо; двухъядерная версия пока выдаёт неверные расшифровки, поэтому все измерения относятся к одному ядру.

Фишка из статьи. Название «потоковый» здесь означает ограничение памяти и более ранний результат, но не успевание за живой речью.

Как это читать: блочная обработка делает память предсказуемой, но почти удваивает длительность вычислений относительно звука и ухудшает WER. Это впечатляющий микроконтроллерный прототип, а не готовый синхронный диктовщик.

Источник: arXiv:2610.13447. Оригинальное название: Oído: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator.