дифференцируемая обработка звука согласование тембра функции потерь
arXiv cs.SD

Evaluating Loss Functions in Differentiable Out-of-Domain Sound-Matching with Partial Parameter Distance

arXiv:2608.27698

При согласовании звука между разными синтезаторами точное совпадение волн недостижимо: источники и схемы генерации различаются. Работа предлагает оценивать только общие критические параметры, например частоту модуляции или границы фильтра, и показывает, почему одна функция потерь не может быть лучшей для всех звуковых преобразований.

Метод. Частичное расстояние параметров PPD вычисляется по заранее выбранным общим ручкам целевого и имитирующего синтезаторов. С его помощью сравниваются SIMSE_Spec, L1_Spec, JTFS и DTW_Envelope в семи сценариях: полосовая фильтрация, три варианта амплитудной модуляции и три траектории изменения высоты. Параметры подбираются RMSProp за 200 шагов; для каждого сочетания дополнительно проводится слепое прослушивание четырьмя авторами.

Результаты. PPD и слушатели выбирают одну и ту же лучшую функцию в пяти из семи сценариев. SIMSE_Spec точнее восстанавливает границы полосы, DTW_Envelope — амплитудную модуляцию и пульсирующую высоту, JTFS — гладкие изгибы высоты. Для каждой функции и сценария собрано 160 оценок по пятибалльной шкале; согласованность среднего четырёх слушателей составляет ICC=0,86, а исключение любого одного слушателя не меняет победителя и даёт корреляцию рангов ρ=0,98.

Ограничения. Проверены простые программные синтезаторы, а не записанные звуки и не большие пространства параметров. Выбор «критических» параметров субъективен; слушатели — четыре автора статьи. Всем функциям задан один режим оптимизации, поэтому часть различий может происходить от масштаба градиента и скорости обучения, а не от самой меры расстояния.

Фишка из статьи. Два расхождения между автоматической и слуховой оценкой приходятся ровно на амплитудную модуляцию с перекрывающимися диапазонами несущей. PPD вознаграждает правильный темп огибающей, тогда как слушатели предпочитают более похожий тембр.

Группа сценариевЧислоЛидер по PPDЛидер по прослушиванию
Полосовая фильтрация1SIMSE_SpecSIMSE_Spec
Амплитудная модуляция, несущие не пересекаются1DTW_EnvelopeDTW_Envelope
Амплитудная модуляция, несущие пересекаются2DTW_EnvelopeСпектральные меры
Гладкое изменение высоты2JTFSJTFS
Пульсирующая высота1DTW_EnvelopeDTW_Envelope

Как это читать: PPD полезно как узкая проверка того свойства, которое действительно требуется восстановить, но оно намеренно не измеряет целостное сходство. При конкуренции ритма огибающей и тембра автоматическую оценку нужно дополнять прослушиванием.

Оригинальная статья на arXiv