ConvexLLM: универсальная обработка аудио через выпуклые комбинации текстовых представлений
Подключение акустического кодировщика к языковой модели обычно требует научить декодер понимать совершенно новые входные векторы. ConvexLLM ограничивает эти векторы выпуклыми комбинациями уже известных текстовых представлений. Такой интерфейс помогает устным рассуждениям, но статья также показывает, почему это не универсальная замена обычному проектору для распознавания речи.
Метод. Whisper-large-v3 извлекает акустические признаки, которые усредняются с шагом четыре. C-Gate выбирает для каждого положения K строк замороженной таблицы текстовых представлений и смешивает их с неотрицательными весами, сумма которых равна единице. Полученные непрерывные векторы подаются вместе с инструкцией в Qwen3.5-9B; базовый K равен 16. Обучение поэтапно размораживает кодировщик и блоки декодера, сохраняя таблицу представлений и выходную голову неизменными. Основная 9B-модель дополнительно учится отвечать на звук так же, как замороженный текстовый учитель отвечает на его расшифровку.
Результаты. Среднее по 11 задачам VoiceBench составляет 75,36 против 73,04 у MiniCPM-o 4.5. Этот показатель не включает распознавание и MMAU. На MMAU Test-mini точность равна 62,50%, ниже 76,63% у MiMo-Audio; WER на LibriSpeech clean/other составляет 2,39/5,07% против 1,40/2,59% у Kimi-Audio. В более контролируемом сравнении с декодером 2B C-Gate даёт VoiceBench 60,35 против 58,80 у MLP и 54,19 у Q-Former, но MLP лучше распознаёт речь: WER other 4,60% против 5,54%.
Ограничения. Основная таблица сравнивает целые системы с разными данными, масштабом и обучением, поэтому лидерство нельзя целиком приписать C-Gate. Контролируемое сравнение выполнено с одной моделью каждого типа при масштабе 2B; часть анализа представлений использует отдельно обученные укороченные варианты. Сохранение текстовых способностей неоднородно: рост общего среднего сопровождается снижением отдельных задач, например BBH. Потоковая задержка и универсальный перенос на языки здесь не установлены.
Фишка из статьи. Абляция размера смеси в таблице 8 отделяет непрерывное смешивание от почти дискретного выбора слова. Все варианты начинают третий этап с одного контрольного состояния, обученного при K=16.
| K | VoiceBench | WER other, % | MMAU, % |
|---|---|---|---|
| 1 | 22,30 | 88,65 | 51,80 |
| 4 | 58,99 | 6,25 | 59,30 |
| 16 | 60,35 | 5,54 | 59,40 |
| 64 | 61,53 | 5,37 | 58,50 |
Как это читать: полезен не сам словарь, а возможность представить звук между его элементами. K=1 резко разрушает распознавание; для него требуется и отдельная оценка градиента straight-through, поэтому это не идеально изолированное сравнение. Увеличение K до 64 улучшает устные задачи и WER, но ухудшает MMAU и учетверяет число смешиваемых представлений относительно K=16.
Источник. Оригинальное название: ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence. arXiv:2610.23539; полный текст PDF.