Генерация музыки Субъективная оценка Методология
arXiv cs.SD

Как оценивают генерацию музыки: анализ анкет средствами генеративной психометрики

ArXiv:2611.21809

Разные статьи о генерации музыки используют похожие слова в анкетах, но не обязательно измеряют одно и то же. Авторы собирают вопросы из работ ISMIR и ищут устойчивую структуру их смысловой близости. Практическая ценность — карта того, что исследователи спрашивают у слушателей; это ещё не доказательство, что ответы слушателей действительно образуют такие же независимые шкалы.

Метод. Из 648 статей ISMIR 2020–2025 годов отобраны 150 работ о генерации музыки. Описания субъективных экспериментов извлекают вручную, затем LLM стандартизует формулировки; результат снова сверяется с исходными описаниями и очищается от выдуманных вопросов. Полученные 284 пункта кодируются text-embedding-3-small векторами длины 1536. Unique Variable Analysis удаляет семантически избыточные пункты, оставляя 57. Затем Exploratory Graph Analysis с Walktrap выделяет сообщества, а повторное построение сети проверяет их устойчивость. Один из авторов с профессиональной музыкальной подготовкой интерпретирует и именует группы. Анализ работает с текстами вопросов, не с матрицей реальных оценок одних и тех же музыкальных образцов.

Кластеры формулировок не заменяют проверку ответов слушателей. 648 статей ISMIR, 2020–2025: Отбор 150 работ о генерации музыки. 284 формулировки вопросов: Извлечение, стандартизация LLM, ручная очистка. Векторы текста: 1536 чисел: text-embedding-3-small; не ответы слушателей. UVA → 57 уникальных пунктов: Новое: удалить семантически зависимые формулировки. EGA + Walktrap + bootstrap: Новое: выделить и проверить устойчивость сообществ. Шесть направлений оценки: Ритм, мелодия, звук, композиция, структура, текст.
Схема по материалам статьи, рисунок 1, разделы 3–4 и таблица 1. Схема исследования текстов вопросов, не эксперимента с новыми слушателями. Векторы создаёт text-embedding-3-small, 1536 чисел. UVA удаляет семантическую избыточность, EGA с Walktrap выделяет сообщества. Устойчивость 84–100% относится к повторному выделению сообществ, не к надёжности субъективных оценок аудио.

Результаты. Получены шесть направлений: ритм, мелодия, качество звучания, композиция, долговременная структура и текст песни. Устойчивость принадлежности пунктов сообществам составляет 84–100% при повторных выборках. Наиболее сильная сетевая нагрузка у вопроса о долговременной структуре — 0,61; у ритмической устойчивости — 0,59. Гармония не выделилась в самостоятельное направление: соответствующие вопросы либо сочтены избыточными, либо вошли в более широкие группы. Из 150 изученных работ лишь пять давали рабочие ссылки на исходные анкеты, поэтому многие формулировки восстановлены по описанию эксперимента.

Ограничения. Один научный форум, один векторный кодировщик и ограниченная доступность анкет делают результат чувствительным к составу литературы. Устойчивые сообщества текстовых признаков не равны проверенной факторной структуре восприятия, согласованности оценщиков или надёжности MOS. Группа «композиция» смешивает свойства произведения с общим предпочтением: её центральный вопрос фактически спрашивает, нравится ли композиция. Проверка на новых слушателях и других площадках оставлена на будущее; исчезновение гармонии не доказывает её неважности.

Фишка из статьи. Таблица 1 полезна как проверка содержания шкал. В одной группе центральный пункт описывает достаточно конкретный музыкальный признак, в другой — общее отношение. Ниже приведены редакторские русские пересказы примеров и их сетевые нагрузки, а не готовая валидированная анкета.

НаправлениеЧто спрашивает центральный пунктСетевая нагрузка
РитмУстойчив ли темп барабанной партии0,59
ЗвучаниеКаково субъективное качество аудио0,53
КомпозицияНравится ли слушателю композиция0,52
СтруктураЕсть ли долговременная структура0,61
Текст песниСоответствует ли текст заданному смыслу0,50

Как это читать: число в последнем столбце характеризует центральность формулировки в своей смысловой сети, а не корреляцию с качеством модели. Перед экспериментом полезно разнести точность задания, структуру, звучание и личное предпочтение по разным вопросам, а затем проверить их уже на ответах людей.

Источник. Оригинальное название: Evaluating the Evaluation of Music Generation Models with Generative Psychometrics. arXiv:2611.21809; полный текст PDF.

Оригинальная статья на arXiv