VocalGrad: слышат ли аудиоязыковые модели направление простых акустических изменений
Модель может хорошо отвечать на вопросы о содержании записи и почти случайно угадывать, становится ли голос громче или выше. VocalGrad убирает сложные рассуждения и проверяет бинарное направление акустического изменения. Главное достоинство работы состоит в разделении двух причин сбоя: информация может сохраниться в представлениях, но не попасть в ответ, либо стать менее доступной ещё внутри декодера.
Метод. Из 100 фраз 50 дикторов VCTK строятся 21 600 примеров девяти преобразований: темпа, высоты тона, громкости, искажений, разрядности, шума, реверберации, частотного ограничения и амплитудной модуляции. Направления сбалансированы; предусмотрены три силы эффекта и четыре временные траектории. Вопрос один: признак увеличивается или уменьшается? Для анализа обучаются линейные классификаторы на mel-признаках, выходах акустического тракта и разных слоях языковой модели; обучающие дикторы и тексты отделены от тестовых. Дополнительно проверяются синусоидальные сигналы без речи и настройка LoRA.
Результаты. Средняя точность слушателей на выбранной для прослушивания подвыборке равна 94,4%; пять моделей дают 49,6–51,8% на полном тесте при случайном уровне 50%. Лучший общий показатель у Kimi-Audio 51,8%, Gemini 3 Flash получает 50,2%. Замена речевых фраз синусоидами не решает задачу: ни одна модель не превышает 70% ни в одной из четырёх проверенных категорий. Линейный анализ показывает, что для громкости, шума и грубости звука информация часто доступна даже в поздних слоях, несмотря на неудачный текстовый ответ.
Ограничения. Акустические изменения искусственные; базовых тестовых фраз всего 100, хотя производных примеров много. Человеческая оценка использует по 50 клипов на категорию и шесть разметчиков, а не весь тест; отдельные траектории в этой подвыборке связаны с направлением изменения. Точность линейного классификатора измеряет линейную доступность, а не всё содержимое представления. Причины потери временной информации остаются гипотезой; ответы требуют также правильно связать словесное название эффекта со звуком.
Фишка из статьи. Таблица 4 проверяет, когда достаточно перенастроить только выходную голову. Важно: для каждой категории обучается свой вариант Kimi-Audio, а не одна универсальная модель.
| Категория | Исходная точность, % | LoRA только головы, % | LoRA всех линейных слоёв, % |
|---|---|---|---|
| Громкость | 50,5 | 88,2 | 100,0 |
| Фоновый шум | 56,5 | 98,6 | 100,0 |
| Высота тона | 50,5 | 57,0 | 98,7 |
| Темп речи | 53,1 | 73,2 | 99,0 |
Как это читать: для шума почти весь провал можно исправить на выходе, значит акустический тракт уже содержит полезный сигнал. Для высоты тона настройка одной головы почти бесполезна, но изменение более ранних слоёв помогает. При переносе настройки между категориями встречаются и систематически инвертированные решения, поэтому высокую точность отдельной строки нельзя считать приобретением общего акустического слуха.
Источник. Оригинальное название: VocalGrad: Evaluating Acoustic Perception in Audio Language Models. arXiv:2610.23745; полный текст PDF.