C³: поиск по KV-кэшу с учётом речевого контекста для длинных аудиозаписей
Речевые языковые модели хранят гораздо больше аудиопозиций, чем текстовых, поэтому доступ к KV-кэшу становится дорогим. C³ выбирает небольшой набор позиций для каждого шага генерации, учитывая неодинаковое внимание голов и непрерывность запросов. Главная цель — не просто сократить чтение памяти, а избежать накопления ошибок поиска в последующих сгенерированных словах.
Метод. При обработке входа аудиоключи каждого KV-блока группируются в бинарную иерархию по содержанию. Головам запросов, использующим один KV-блок, выделяется общий бюджет: кластер оценивается по максимальному сходству с любой из них. Затем выбираются исходные ключи и значения, и внимание к выбранному подмножеству вычисляется точно. Сглаженная важность управляет парными операциями разделения важного кластера и слияния менее важной пары, сохраняя число активных представителей. Это приближённый поиск с точным вниманием внутри найденного множества, не эквивалент полного внимания.
Результаты. На Qwen3-Omni при бюджете 128 аудиопозиций WER LS-Long равна 7,07% против 180,94% у ClusterKV. WER выше 100% возможна из-за вставленных слов. При 512 позициях C³ даёт 1,98%, близко к полному вниманию 2,02%. На переводе с бюджетом 256 chrF растёт с 25,91 до 55,79, но полное внимание достигает 74,75. Для длинных записей с искусственно вставленными кодами точное восстановление достигается на этой модели при 64 позициях; такой результат не переносится автоматически на все виды содержания.
Ограничения. Поиск, построение индекса и копирование сами требуют времени. На данном оборудовании преимущество перед полным вниманием появляется примерно после 8000 аудиотокенов; для коротких записей ускорение не гарантировано. Проверены четыре модели и H200/Ada 6000. Испытания качества ограничены поддерживаемыми контекстами, а показатели свыше 32 тыс. аудиотокенов — аналитические прогнозы. При фиксированной гранулярности число центроидов всё ещё растёт с длиной, даже если полные KV вынесены в оперативную память.
Фишка из статьи. Таблица 1 показывает, что устойчивость при тесном бюджете зависит и от модели. Ниже приведена WER LS-Long, а не единая средняя по разным задачам.
| Модель | Полное внимание | C³, 128 KV | C³, 512 KV |
|---|---|---|---|
| Qwen3-Omni | 2,02% | 7,07% | 1,98% |
| Qwen2.5-Omni-3B | 2,40% | 40,48% | 2,78% |
| Gemma-4-E4B | 4,24% | 14,63% | 5,43% |
| Voxtral-Mini-3B | 3,39% | 41,86% | 4,61% |
Как это читать: 128 позиций хорошо работают на Qwen3, но дают десятки процентов ошибок на двух других системах. Равный объём чтения кэша не означает равный запас качества. Близость к исходной WER следует устанавливать для конкретной архитектуры и длины записи, одновременно учитывая стоимость индексации.
Источник. Оригинальное название: C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference. arXiv:2611.00333; полный текст PDF.