DiffAQ: квантование распознавания речи с учётом межкадровых изменений

При калибровке сильно квантованного распознавателя длинные участки тишины и почти неизменных признаков могут заслонять короткие фонетические переходы. DiffAQ меняет распределение важности кадров в GPTQ: больше веса получают быстрые изменения скрытых акустических представлений. Это небольшой приём без дообучения весов, но результаты показывают и его предел: удачная калибровка не спасает слишком маленькую модель при двух битах.

Метод. Для скрытых состояний кодировщика вычисляется норма разности соседних кадров. Она нормируется на среднее по последовательности и задаёт вес вклада кадра в эмпирический гессиан GPTQ; минимальный вес по умолчанию равен 0,2. Далее используется обычный решатель квантования. Модификация применяется к линейным слоям кодировщика, а текстовый декодер остаётся на стандартном GPTQ. Проверяются W2A16 и W3A16 с группой 64, то есть квантованы веса, но не активации. Для калибровки берут 128 фраз LibriSpeech; результаты усредняют по десяти случайным выборкам с 95%-ными интервалами.

Результаты. У Whisper-medium.en при двух битах WER LibriSpeech test-other снижается с 17,53±1,36% до 12,93±1,34%; исходная FP16-модель имеет 5,69%. На английском FLEURS двухбитная medium улучшает WER с 18,05 до 12,07%. При трёх битах преимущество меньше: other 6,21→6,08%, близко к полной точности. Для small.en на FLEURS соответствующее трёхбитное изменение равно 11,37→8,69%. Таким образом, полезность зависит и от разрядности, и от размера сети.

Ограничения. Проверены только английские Whisper base/small/medium и два семейства тестовых данных. Разность кадров не отличает речевой переход от резкого постороннего шума. Нет измерений ускорения конечного распознавания или энергопотребления на мобильном устройстве; уменьшение памяти весов не тождественно ускорению всего тракта. Калибровочные затраты описаны как близкие GPTQ, но работа не заменяет полноценного аппаратного испытания.

Фишка из статьи. Таблица 1 позволяет увидеть границу работоспособности, а не только лучший относительный выигрыш. Ниже WER на test-other при двухбитных весах; число ошибок может превышать 100% из-за вставок и повторений.

Как это читать: DiffAQ перераспределяет ошибку округления, но не создаёт отсутствующую ёмкость. У medium это практически полезное улучшение, small всё ещё сильно деградирует, а base не восстанавливается. Для компактного распознавателя разумнее отдельно проверять три бита или смешанную точность, чем считать двухбитное сжатие универсальным результатом статьи.

Источник. Оригинальное название: Not All Frames Are Equal:Difference-Aware Quantization for Ultra-Low-Bit ASR. arXiv:2610.22395; полный текст PDF.