CAPS: экономия питания в hearables через sub-Nyquist речь
CAPS интересна тем, что связывает улучшение речи не только с качеством сигнала, но и с энергопотреблением носимого устройства. Авторы берут сценарий hearables с воздушным и костным микрофонами и намеренно снижают частоту дискретизации и разрядность АЦП, а затем восстанавливают широкополосную речь. Главный ход - каскадная реконструкция: сначала расширить полосу узкополосного сигнала, потом использовать мультимодальные признаки для устойчивости в шуме.
Метод. Вместо обычного подхода, где микрофон пишет широкий диапазон сразу и вся экономия ищется уже в нейросети, CAPS переносит часть экономии на аналогово-цифровой тракт. Модель восстанавливает речь из 4 кГц входа до 16 или 22 кГц, использует Mamba-блоки для последовательного контекста и APEN-модуль, который помогает совмещать воздушный и костный каналы. Отдельно проверяется мобильный вывод на Pixel 7 и Galaxy S21, а не только настольный запуск.
Результаты. На задаче 4->16 кГц при 12 бит CAPS дает на VCTK PESQ 2.99, STOI 0.90 и SI-SDR 16.99 dB при 2.85M параметров и 1.36 мс вывода на настольном устройстве. На Pixel 7 средняя задержка составляет 55.11 мс, тогда как HiFi++ требует 258 мс, AERO - 1441 мс, EBEN - 520 мс. При 4 кГц и 8 битах авторы оценивают потребление АЦП в 0.702 мВт против 2.325 мВт для 24 кГц и 12 бит, то есть примерно 3.31x экономии.
Ограничения. Работа завязана на конкретный класс hearables и наличие костного микрофона, поэтому перенос на телефоны, конференц-системы или обычные гарнитуры не прямой. Субъективная оценка небольшая: 12 участников, средний MOS 4.3. Кроме того, снижение частоты и разрядности выгодно только если качество реконструкции достаточно стабильно в реальных шумах, а статья пока показывает ограниченный набор устройств и корпусов.
Фишка из статьи. Самый полезный инженерный результат - не только хорошая PESQ, а баланс между энергией АЦП, задержкой и качеством. В таблицах видно, где именно появляется выигрыш: CAPS остается в мобильном бюджете, тогда как более тяжелые модели уже выбиваются из практического режима.
| Условие | Задержка | Мощность или качество | Комментарий |
|---|---|---|---|
| АЦП 4 кГц, 8 бит | - | 0.702 мВт | экономный вход CAPS |
| АЦП 24 кГц, 12 бит | - | 2.325 мВт | примерно 3.31x больше энергии |
| CAPS на Pixel 7 | 55.11 мс | PESQ 2.97, STOI около 0.90 | реальный мобильный запуск |
| HiFi++ на Pixel 7 | 258 мс | качество близкое, модель тяжелее | хуже для интерактивного вывода |
| AERO на Pixel 7 | 1441 мс | не проходит мобильный бюджет | качество без практичной задержки |
Как это читать: статья показывает системный обмен, а не одиночную метрику. Если широкополосная запись сразу стоит дорого по питанию, то приемлемая реконструкция из 4 кГц входа может быть выгоднее даже при небольшой потере качества.