Нейронное лучеформирование на основе трансформера для маломощных слуховых устройств реального времени

Работа доводит нейронное лучеформирование до шестимикрофонного слухового устройства на маломощном процессоре GAP9. Медленная свёрточная ветвь обновляет коэффициенты MVDR, а небольшой трансформер покадрово корректирует выход между обновлениями.

Метод. Пространственная оценка разделена по частоте обновления: дорогие веса лучеформирователя вычисляются редко, быстрая ветвь обрабатывает каждый кадр. Для внедрения авторы последовательно перестраивают многоголовое внимание, обрабатывают строки по одной и объединяют операции, чтобы удержать данные в локальной памяти.

Результаты. После оптимизации обработка кадра занимает 15 мс, обновление весов 564 мс, потребление равно 45,9 мВт. Система получает PESQ-WB 3,676 и SI-SNR 20,26 дБ против 3,747 и 22,02 дБ у полной модели с плавающей точкой. Оценённое время работы от батареи составляет 18,2-20,3 часа.

Ограничения. Обучение и проверка используют синтетические комнаты и частоту 8 кГц. Нет длительного испытания на настоящем носимом устройстве, а расчёт батареи опирается на модель рабочего цикла.

Фишка из статьи. Основной выигрыш дал не новый слой, а организация памяти внимания. Последовательная обработка голов уменьшила внешнюю память, а объединённая построчная реализация полностью убрала её и сократила число циклов более чем в пять раз.

Как это читать: для маломощного устройства размещение промежуточных данных оказалось не менее важным, чем число операций модели. Итоговая оптимизация снижает потребление с 66,1 до 45,9 мВт, на 31%.