PianoBench: отделение музыкального восприятия от рассуждений в языковых моделях
PianoBench проверяет одну и ту же музыкальную задачу по звуку, текстовой записи нот и вообще без музыкального входа. Такое сравнение показывает, где модель действительно слышит музыку, а где использует подсказки формулировки или рассуждает по уже извлечённым событиям. Дополнительный вклад работы: масштабный материал, в котором объяснения преподавателя чередуются с исполнением на фортепиано.
Метод. PianoTalk собран из 138212 обучающих видео; речь распознаётся, фортепиано отделяется и переводится в MIDI. Активная речь или музыка занимает 26066 часов, в том числе 6571 час их перекрытия. Деление выполняется по каналам YouTube. PianoBench содержит 250 вручную проверенных вопросов к отрывкам из 162 видео. Для каждого доступны исходная фортепианная дорожка, исполнение той же MIDI-записи виртуальным инструментом и текстовая последовательность событий. Контроль без музыки измеряет угадывание по вопросу и вариантам.
Результаты. У открытых аудиоязыковых моделей прирост от звука над собственным контролем обычно находится между −1,6 и +6,0 п.п. Gemini 3.1 Pro получает 80,4% по дорожке против 63,6% без музыки. GPT 6 Astra с явными нотными событиями достигает 93,2%, но это результат рассуждения по MIDI-тексту, не распознавания нот на слух. Чередующееся дообучение Qwen 3.5 9B повышает точность по MIDI-тексту с 42,8% у собственного SFT-контроля до 56,0%.
Ограничения. Набор небольшой и ограничен фортепиано; отбор предпочитает хорошо отделённые дорожки и надёжные MIDI. Контроль без музыки даёт 41,2–63,6% вместо случайных 25%, поэтому абсолютная точность сама по себе оптимистична. Среди 17 ошибок самой сильной текстовой модели обнаружены четыре ошибки транскрипции и один неверный эталон; они оставлены в опубликованном подсчёте. Дообучение проверено на символическом входе, перенос выигрыша на аудио ещё не показан.
Фишка из статьи. Таблица 2 показывает, что важен не только объём обучающих сведений, но и сохранение соседства речи и нот. Раздельный и чередующийся варианты используют почти одинаковые 2,99 млрд токенов.
| Дообучение Qwen 3.5 9B | Без музыки, % | С MIDI-текстом, % | Прибавка от музыкального входа, п.п. |
|---|---|---|---|
| Только собственное SFT | 40,8 | 42,8 | 2,0 |
| Речь и музыка в отдельных документах | 42,4 | 42,4 | 0,0 |
| Чередование объяснений и музыки | 45,6 | 56,0 | 10,4 |
Как это читать: простое знакомство с теми же типами содержимого не воспроизводит выигрыш: связь объяснения с конкретным исполнением важнее механического объединения корпусов. При этом официальный Qwen Instruct с рассуждением достигает 70,0% по MIDI-тексту. Чередующиеся данные и вычисления на рассуждение остаются разными осями улучшения, а не доказанной заменой друг другу.
Источник. Оригинальное название: PianoBench: Evaluating Musical Perception and Reasoning in Language Models. arXiv:2611.03839; полный текст PDF.