Сколько AI в треке: оценка доли сгенерированных стемов
Статья предлагает заменить бинарный вопрос «трек AI или человек» на более реалистичный: какая доля энергии в гибридном миксе приходится на AI-сгенерированные стемы. Это важно для музыкального производства, где синтетические барабаны, бас или вокал могут соседствовать с живыми дорожками. Главный вывод: бинарный детектор почти идеален на полностью чистых endpoints, но плохо калиброван для смешанных треков.
Метод. Авторы берут многодорожечные музыкальные данные, реконструируют отдельные стемы через EnCodec 3 кбит/с и собирают все комбинации real/AI-стемов. Целевая величина alpha - доля энергии микса, приходящаяся на AI-реконструированные стемы, а не просто доля замененных дорожек. Сравниваются CNN-бинарный детектор и CNN-регрессор той же основы, обученный прямо предсказывать alpha.
Результаты. Бинарный CNN достигает 99.97% accuracy и 99.98% F1 на чистых fully human / fully AI треках. Но как оценка alpha он слаб: при 5-секундных окнах MAE 0.289, RMSE 0.360 и R2 -0.851. Регрессионный CNN при тех же 5-секундных окнах получает MAE 0.076, RMSE 0.102, R2 0.854 и Pearson 0.925. Анализ по инструментам показывает, что барабаны наиболее заметны, вокал обнаруживается частично, а бас почти неотличим.
Ограничения. AI-стемы здесь не из коммерческих генераторов вроде Suno или Udio, а из кодековой реконструкции, что изолирует артефакты, но ограничивает переносимость. Смеси не проходят обычную продюсерскую обработку: эквализацию, компрессию, ручной баланс и творческое редактирование. Поэтому это скорее методологическая основа, чем готовый детектор для рынка.
Фишка из статьи. Отрицательный результат с R2 важнее, чем высокая точность бинарного детектора. На смешанных треках raw fake probability ведет себя как шумный сигнал, но не как количественная оценка доли AI.
| Модель | Окно | MAE | RMSE | R2 | Pearson |
|---|---|---|---|---|---|
| Бинарный CNN как alpha-оценка | 1 с | 0.228 | 0.289 | -0.193 | 0.617 |
| Бинарный CNN как alpha-оценка | 5 с | 0.289 | 0.360 | -0.851 | 0.505 |
| Регрессионный CNN | 1 с | 0.104 | 0.124 | 0.782 | 0.892 |
| Регрессионный CNN | 5 с | 0.076 | 0.102 | 0.854 | 0.925 |
Как это читать: отрицательный R2 означает хуже, чем всегда предсказывать среднее значение по набору. Бинарный детектор видит артефакт на крайних случаях, но не умеет количественно складывать вклад разных стемов в миксе.