EG-VAE: перенос и удаление гитарного тона одной моделью

EG-VAE объединяет две задачи электрогитары, которые обычно решаются отдельно: перенос тембра/тона с одного звучания на другое и удаление обработки до сухого DI-сигнала. Главная идея проста и сильна: у wet-записи нужно разделить покадровое содержание игры и глобальный тон цепочки эффектов, а затем либо заменить тон на референсный, либо замаскировать его. Это полезно не только для музыкального производства, но и для анализа того, где граница между исполняемым содержанием и обработкой сигнала.

Метод. Модель кодирует запись в покадровое содержание и глобальное 64-мерное тоновое вложение. Conditional Layer Normalization использует тон для восстановления wet-звучания, а tone masking принудительно ставит параметры модуляции в нейтральный режим и тем самым задает путь удаления тона. Второй этап обучения добавляет вариационную выборку в тоновом пространстве и аугментацию аудиоэффектами, чтобы лучше переноситься на цепочки, которых не было в обучении.

Результаты. Для переноса тона EG-VAE на видимых тонах получает Mel 0.86 и STFT 1.63, тогда как лучший вариант One-to-many с предварительным удалением тона дает Mel 1.53 и STFT 2.55. На невидимых тонах EG-VAE сохраняет преимущество: Mel 1.15 и STFT 2.00, MOS по качеству 3.85 и сходству тона 3.70. Для удаления тона на видимых тонах EG-VAE получает Mel 1.10 и STFT 1.79, а на невидимых - Mel 1.19 и STFT 1.87, при этом слушатели ставят сухость 3.42 и 3.50 соответственно.

Ограничения. Задача остается плохо обусловленной: нелинейная перегрузка создает гармоники, которые трудно отделить от сыгранных нот. Модель проверяется на электрогитарных цепочках эффектов и не гарантирует перенос на другие инструменты. Авторы также прямо отмечают, что delay сложен для факторизации: акустически он похож на сыгранное содержание, хотя физически является эффектом.

Фишка из статьи. Абляция показывает, что tone masking - не косметическая операция для вывода сухого сигнала, а часть обучения факторизации. Если убрать его, задача удаления тона фактически исчезает, а качество реконструкции и переноса тоже падает.

Как это читать: Mel ниже означает меньше спектральное расхождение. Самый сильный провал дает удаление content-tone perturbation, но именно без tone masking модель теряет само определение режима «сухого» вывода; поэтому удаление и перенос нельзя рассматривать как независимые задачи.