MixJudge: оценка проблем вокального сведения по текстовому запросу
MixJudge оценивает конкретные проблемы вокального сведения: чрезмерную громкость, мутность, резкость, реверберацию, сжатие и маскировку сопровождением. Вместо свободного совета проверяется способность отличать противоположные дефекты и упорядочивать их силу. Главное ограничение полезно уже для практики: хорошая диагностика отдельных дефектов не гарантирует монотонно лучшего выбора обработки.
Метод. На CLAP строится общий вектор вокала, сопровождения, их смеси и разностных признаков с обозначением ролей. Описание проблемы сравнивается с ним косинусной мерой. Обучение использует 78 740 синтетических состояний из 370 песен, 18 рецептов для 11 проблем и трёх уровней силы. Пакеты содержат разные версии одного материала, чтобы ограничить узнавание песни вместо дефекта. К сигмоидному сопоставлению добавляются ранжирование силы и штрафы за путаницу разных и противоположных проблем.
Результаты. Адаптированная версия получает 83,9% на строгом тесте двух противоположных полюсов и 92,2% полностью правильно упорядоченных цепочек силы. При выборе из 31 обработки на 88 реальных вокальных парах она приближается к профессиональной версии в 72,7% случаев при усреднении оценок проблем. Это близость по уровню RMS и энергии восьми октавных полос, а не доля слушателей, предпочитающих результат. Текстовый поиск нужного состояния при этом имеет R@1 лишь 16,4%.
Ограничения. Модель получает отдельные дорожки и смесь, тогда как общие аудиоязыковые конкуренты получают только смесь: равенство входной информации отсутствует. Все состояния монофонические; стереоширина и фазовые проблемы исключены. Обозначение clean значит отсутствие внесённого дефекта, не оптимальное художественное сведение. Профессиональный вариант является одним решением, а синтетические проверки принятия рецептов не заменяют слуховую валидацию.
Фишка из статьи. В таблице 2 добавление целевых потерь улучшает понимание силы дефекта, но немного ухудшает прикладной выбор по сравнению с одним сигмоидным критерием.
| Целевая функция | Корреляция силы дефекта | Приближение к профессиональной версии: средняя / максимальная оценка |
|---|---|---|
| Только сигмоидное сопоставление | 0,578 | 73,9% / 77,3% |
| Полный набор потерь | 0,971 | 72,7% / 71,6% |
Как это читать: модель может стать намного последовательнее в собственной шкале, но не лучше выбирать итоговый звук. Связь между «экзаменом критика» и прикладным решением не является тождеством. Для применения как оптимизатора сведения нужны отдельные проверки правил объединения проблем, набора доступных обработок и человеческого предпочтения; одной высокой корреляции синтетической силы недостаточно.
Источник. Оригинальное название: MixJudge: Learning a Language-Queryable Critic for Vocal Mixing. arXiv:2610.30783; полный текст PDF.