Как оценивают генерацию музыки: анализ анкет средствами генеративной психометрики
Разные статьи о генерации музыки используют похожие слова в анкетах, но не обязательно измеряют одно и то же. Авторы собирают вопросы из работ ISMIR и ищут устойчивую структуру их смысловой близости. Практическая ценность — карта того, что исследователи спрашивают у слушателей; это ещё не доказательство, что ответы слушателей действительно образуют такие же независимые шкалы.
Метод. Из 648 статей ISMIR 2020–2025 годов отобраны 150 работ о генерации музыки. Описания субъективных экспериментов извлекают вручную, затем LLM стандартизует формулировки; результат снова сверяется с исходными описаниями и очищается от выдуманных вопросов. Полученные 284 пункта кодируются text-embedding-3-small векторами длины 1536. Unique Variable Analysis удаляет семантически избыточные пункты, оставляя 57. Затем Exploratory Graph Analysis с Walktrap выделяет сообщества, а повторное построение сети проверяет их устойчивость. Один из авторов с профессиональной музыкальной подготовкой интерпретирует и именует группы. Анализ работает с текстами вопросов, не с матрицей реальных оценок одних и тех же музыкальных образцов.

Результаты. Получены шесть направлений: ритм, мелодия, качество звучания, композиция, долговременная структура и текст песни. Устойчивость принадлежности пунктов сообществам составляет 84–100% при повторных выборках. Наиболее сильная сетевая нагрузка у вопроса о долговременной структуре — 0,61; у ритмической устойчивости — 0,59. Гармония не выделилась в самостоятельное направление: соответствующие вопросы либо сочтены избыточными, либо вошли в более широкие группы. Из 150 изученных работ лишь пять давали рабочие ссылки на исходные анкеты, поэтому многие формулировки восстановлены по описанию эксперимента.
Ограничения. Один научный форум, один векторный кодировщик и ограниченная доступность анкет делают результат чувствительным к составу литературы. Устойчивые сообщества текстовых признаков не равны проверенной факторной структуре восприятия, согласованности оценщиков или надёжности MOS. Группа «композиция» смешивает свойства произведения с общим предпочтением: её центральный вопрос фактически спрашивает, нравится ли композиция. Проверка на новых слушателях и других площадках оставлена на будущее; исчезновение гармонии не доказывает её неважности.
Фишка из статьи. Таблица 1 полезна как проверка содержания шкал. В одной группе центральный пункт описывает достаточно конкретный музыкальный признак, в другой — общее отношение. Ниже приведены редакторские русские пересказы примеров и их сетевые нагрузки, а не готовая валидированная анкета.
| Направление | Что спрашивает центральный пункт | Сетевая нагрузка |
|---|---|---|
| Ритм | Устойчив ли темп барабанной партии | 0,59 |
| Звучание | Каково субъективное качество аудио | 0,53 |
| Композиция | Нравится ли слушателю композиция | 0,52 |
| Структура | Есть ли долговременная структура | 0,61 |
| Текст песни | Соответствует ли текст заданному смыслу | 0,50 |
Как это читать: число в последнем столбце характеризует центральность формулировки в своей смысловой сети, а не корреляцию с качеством модели. Перед экспериментом полезно разнести точность задания, структуру, звучание и личное предпочтение по разным вопросам, а затем проверить их уже на ответах людей.
Источник. Оригинальное название: Evaluating the Evaluation of Music Generation Models with Generative Psychometrics. arXiv:2611.21809; полный текст PDF.