StyleInstructCaps: проверка управляемого описания манеры речи
Просьба описать темп или интонацию не должна превращаться в свободное сочинение о личности говорящего. StyleInstructCaps проверяет, умеет ли аудиоязыковая модель выделять запрошенный аспект манеры речи и оставаться в пределах подтверждённых свойств. Работа ценна разделением соблюдения инструкции, соответствия разметке и неподтверждённых утверждений: красивый ответ может провалить две последние проверки.
Метод. Для ParaSpeechCaps создаются шесть описаний каждой реплики: устойчивые голосовые черты, ситуативная подача, выразительность, прагматика, впечатление слушателя и общее резюме. Обучающие описания строит Mistral, тестовые Llama, используя метаданные. На MetaSet из 434 реплик три независимых семейства языковых судей оценивают соответствие метаданным и галлюцинации; соблюдение инструкции оценивает отдельный Qwen3-32B. Есть 36 новых форматов запроса на VCTK, 600 новых записей GigaSpeech и проверка устойчивости описаний одного диктора через E5-признаки, кластеризацию и верификацию.
Результаты. SALMONN после многозадачного обучения SIC-DB повышает метаоценку с 4,68 до 7,35 из 10 и долю выполненных инструкций с 58,5 до 75,0%. Но на новом GigaSpeech все варианты SALMONN дают почти одинаковые 6,25–6,30: перенос улучшения соответствия не подтверждён. На MetaSet взаимосвязь соответствия разметке и тяжести галлюцинаций по моделям около нуля. В тесте слушателей панель судей согласна с большинством на 85,9% пригодных пар, κ=0,717; ранжирование по человеческим голосам имеет корреляцию Спирмена 0,895 с панелью.
Ограничения. Основной эталон — метаданные, а не исчерпывающее описание слышимого. Описания и большая часть оценок создаются языковыми моделями; использование разных семейств уменьшает, но не устраняет замкнутый круг. Человеческая проверка включает 13 сохранённых участников и 100 пар, не весь набор. Текстовая верификация диктора не заменяет верификацию по голосу. Эти результаты не обосновывают выводы о психическом состоянии, намерениях или личностных качествах человека.
Фишка из статьи. Таблицы 1 и 3 показывают отрицательный результат, который легко потерять за хорошими средними баллами. Специализированное обучение улучшает знакомую проверку, но почти не двигает соответствие на новом речевом домене.
| SALMONN | MetaSet: соответствие, 1–10 | MetaSet: выполнено инструкций, % | GigaSpeech: соответствие, 1–10 |
|---|---|---|---|
| Исходный | 4,68 | 58,5 | 6,28 |
| Обучение на PSC | 7,01 | 52,9 | 6,28 |
| SIC-DB, одна задача | 7,30 | 65,6 | 6,25 |
| SIC-DB, несколько задач | 7,35 | 75,0 | 6,30 |
Как это читать: PSC улучшает описания привычного материала, но даже ухудшает соблюдение запросов; разнообразные инструкции восстанавливают управляемость. Однако соответствие новому аудио остаётся на исходном уровне. Для прикладной оценки нужны раздельные отчёты по формату, подтверждаемости свойств и новым условиям записи, а не единый балл «понимания голоса».
Источник. Оригинальное название: A Benchmark for Controllable Speaking-Style Captioning in Audio-Language Models. arXiv:2610.33036; полный текст PDF.