Генерация адаптеров по инструкции для композиционного обобщения аудиоязыковых моделей

Умение распознать два голоса отдельно не гарантирует выполнения запроса «расшифруй того, кто говорит дольше». T2L-ICAG генерирует отдельные LoRA-веса по токенам инструкции, чтобы знакомые акустические операции лучше сочетались в новых задачах. Замороженная основная модель получает адаптер, зависящий от структуры запроса, вместо одного общего адаптера для всех инструкций.

Метод. Небольшой двунаправленный Transformer соединяет токены инструкции и обучаемые запросы для каждой пары «слой — тип проекции». Его выходные головы строят матрицы LoRA внимания; градиент обычной языковой потери проходит через них в гиперсеть. Главная конфигурация имеет около 30 млн обучаемых параметров гиперсети, ранг 4 и примерно 1,3 млн генерируемых LoRA-параметров Kimi-Audio. Обучение использует не все SIFT-50M, а 4,5 млн английских закрытых заданий. Проверка содержит 29 задач пяти типов, с аудитом покрытия как примитивных операций, так и точных форм запросов.

Результаты. Для Kimi-Audio средний относительный RPS по композиционным задачам 98,35 против 92,02 у статического LoRA ранга 4 и 90,99 у T2L с одним глобальным вектором инструкции. При распознавании трёх голосовых атрибутов точность 80,23 против 62,60%; проверка совпадения пола двух голосов 87,96 против 76,32%. Простое распознавание почти не меняется: LibriSpeech test-clean WER 1,34% против 1,27% у статического LoRA. На Qwen2.5-Omni средний выигрыш тоже есть, но не в каждой группе и ранге.

Ограничения. RPS нормируется на лучший результат среди выбранных систем, поэтому 98,35 не означает 98,35% правильных ответов и зависит от набора сравнения. Часть задач и аудит покрытия оцениваются языковыми судьями. При совместных текстовых и атрибутных ответах некоторые WER считаются только для соблюдённого формата — это условная оценка. Обучение английское; устойчивость к свободным запросам, шуму и длинным диалогам ограниченно изучена. Гиперсеть добавляет цену генерации весов, не измеренную здесь как сквозная задержка.

Фишка из статьи. Контроль со статическим LoRA ранга 80 приближает число обучаемых параметров к гиперсети. Таблица 3 по задачам, отсутствующим в точной форме в обучении, показывает: наращивание ёмкости само по себе не воспроизводит эффект условной генерации.

Как это читать: важна организация адаптации, а не просто количество весов. Но этот опыт не устанавливает причинную роль конкретных токенов или универсальность гиперсетей: ранг 80 меняет и регуляризацию, и оптимизацию. Практически полезно также разделять ошибку выбора записи и качество её расшифровки, как делают авторы через SAcc и минимальный WER.

Источник. Оригинальное название: In-Context Adapter Generation for Compositional Generalization in Large Audio Language Models. arXiv:2610.34413; полный текст PDF.