Ключевые слова FPGA Аппаратное ускорение
arXiv cs.LG

ConvLUT: свёрточные сети на таблицах поиска для сверхбыстрого распознавания ключевых слов

ArXiv:2611.11507

ConvLUT преобразует небольшие свёрточные классификаторы в полностью развёрнутые схемы из таблиц поиска FPGA. Для речи проверяется распознавание 12 классов Speech Commands. Самая важная оговорка: наносекундные задержки относятся к вычислению по уже готовому мел-спектру, а не к прослушиванию слова и получению ответа от микрофона.

Метод. Каждый обучаемый элемент имеет ограниченное число входов, чтобы его таблицу можно было разместить в логике FPGA. Свёртки строятся из разреженных локальных функций, обычное объединение признаков заменяется обучаемым разреженным пространственным объединением. Для ключевых слов используется глубинно-разделимая сеть с первым ядром 40×4, учитывающим частотно-временную структуру. Постепенное обрезание связей чередуется с дообучением; затем таблицы перечисляются полностью и проверяются как логическая модель и Verilog.

Результаты. Большая KWS-версия DS-CNN-B достигает точности 91,53%: минимально конвейеризованный вариант имеет задержку 12 нс и занимает 286 306 LUT на VU9P. Более глубокий конвейер той же модели даёт 30 нс, но увеличивает пропускную способность со 173 до 338 млн входов/с. Малый DS-CNN-A имеет 88,99%, 9 нс и 144 711 LUT. Сравниваемый fpgaconvnet сообщает 91,1% и 320 000 нс на другой FPGA, поэтому это разные аппаратные точки, а не равные по площади системы.

Ограничения. Используется out-of-context синтез и размещение вычислительной схемы; внешний ввод, память платформы, акустическое окно и расчёт признаков исключены. Полная пространственная развёртка покупает скорость большой площадью логики и не доказывает энергоэффективность готового устройства. Результат относится к короткой классификации, а не к свободному распознаванию речи. Обучение с жёсткой разреженностью требует многократного восстановления весов.

Фишка из статьи. Таблица 4 наглядно разделяет задержку одного входа и пропускную способность. Усиленная конвейеризация увеличивает первую, но позволяет чаще принимать новые входы. Оба варианта одной модели имеют одинаковую точность.

DS-CNN-BЗадержка, нсПропускная способность, млн/сТриггеры FF
2 такта1217315 554
10 тактов3033892 050

Как это читать: больше входов в секунду не означает меньшее время ответа на один вход: это независимые характеристики конвейера. Наносекунды не сокращают длительность самого речевого окна. Для реального голосового устройства необходимо добавить задержку накопления звука, извлечения признаков и доставки данных в схему; здесь эти части не измерены.

Источник. Оригинальное название: ConvLUT: Rethinking Convolutional Architectures for Ultra-Low-Latency LUT-Based Inference. arXiv:2611.11507; полный текст PDF.

Оригинальная статья на arXiv