Подбор параметров звука дифференцируемым алгоритмом Karplus–Strong

Дифференцируемый синтезатор не гарантирует, что спектральная ошибка подскажет правильное направление изменения физических параметров. На расширенном Karplus–Strong авторы показывают особенно тяжёлый случай — время начала щипка. Совместное обучение по звуку и параметрам может разрушить обнаружение событий, хотя чисто параметрическое обучение на синтетике работает хорошо.

Метод. Событийная модель оценивает частоту, время начала и тембровые параметры щипкового звука. Сравниваются частотная реализация и временная интерполяция дробной задержки; последняя избегает циклического наложения в сильнорезонансных изменяющихся режимах. Исследуются обучение только по известным параметрам, только по аудио с внешними детекторами и смешанный критерий. Направления градиентов проверяются отдельно при грубой и близкой инициализации, а затем — на нескольких одновременных событиях.

Результаты. На синтетическом тесте чисто параметрическое обучение даёт F1 начала событий 0,92 и среднюю ошибку высоты 15,14 цента. Во временной реализации добавление звукового критерия снижает F1 до 0,01; остановка этого градиента для времени начала поднимает F1 до 0,64. На реальной гитаре NSynth лучше обобщается вариант с внешними детекторами, а Harmonics-plus-Noise остаётся сильнее по большинству показателей точности реконструкции.

Ограничения. Это ограниченная физическая модель щипковой струны и два теста по 290 примеров, не универсальная теория дифференцируемого аудио. Хорошее восстановление синтетических параметров плохо переносится на реальные атаки звука. Для преимущества Karplus–Strong по тембровой CLAP-дистанции авторы предлагают объяснение через переходный процесс, но формального слушательского подтверждения нет. Звуковые и параметрические критерии имеют разные масштабы и не взаимозаменяемы.

Фишка из статьи. Таблица 3 локализует отказ через остановку градиента: значения ниже относятся к временной реализации и синтетическому тесту.

Как это читать: добавочный критерий по сигналу здесь не является безобидным уточнением: его направление мешает головке времени начала. Проверка производной и направленная остановка градиента объясняют провал лучше, чем увеличение модели. Для событийного DSP полезно тестировать идентифицируемость и геометрию критерия до большого обучения; совместный частотно-временной транспорт авторы оставляют направлением дальнейшей работы.

Источник. Оригинальное название: Sound Matching with a Differentiable Karplus-Strong Algorithm. arXiv:2610.28043; полный текст PDF.