Evaluating Loss Functions in Differentiable Out-of-Domain Sound-Matching with Partial Parameter Distance
При согласовании звука между разными синтезаторами точное совпадение волн недостижимо: источники и схемы генерации различаются. Работа предлагает оценивать только общие критические параметры, например частоту модуляции или границы фильтра, и показывает, почему одна функция потерь не может быть лучшей для всех звуковых преобразований.
Метод. Частичное расстояние параметров PPD вычисляется по заранее выбранным общим ручкам целевого и имитирующего синтезаторов. С его помощью сравниваются SIMSE_Spec, L1_Spec, JTFS и DTW_Envelope в семи сценариях: полосовая фильтрация, три варианта амплитудной модуляции и три траектории изменения высоты. Параметры подбираются RMSProp за 200 шагов; для каждого сочетания дополнительно проводится слепое прослушивание четырьмя авторами.
Результаты. PPD и слушатели выбирают одну и ту же лучшую функцию в пяти из семи сценариев. SIMSE_Spec точнее восстанавливает границы полосы, DTW_Envelope — амплитудную модуляцию и пульсирующую высоту, JTFS — гладкие изгибы высоты. Для каждой функции и сценария собрано 160 оценок по пятибалльной шкале; согласованность среднего четырёх слушателей составляет ICC=0,86, а исключение любого одного слушателя не меняет победителя и даёт корреляцию рангов ρ=0,98.
Ограничения. Проверены простые программные синтезаторы, а не записанные звуки и не большие пространства параметров. Выбор «критических» параметров субъективен; слушатели — четыре автора статьи. Всем функциям задан один режим оптимизации, поэтому часть различий может происходить от масштаба градиента и скорости обучения, а не от самой меры расстояния.
Фишка из статьи. Два расхождения между автоматической и слуховой оценкой приходятся ровно на амплитудную модуляцию с перекрывающимися диапазонами несущей. PPD вознаграждает правильный темп огибающей, тогда как слушатели предпочитают более похожий тембр.
| Группа сценариев | Число | Лидер по PPD | Лидер по прослушиванию |
|---|---|---|---|
| Полосовая фильтрация | 1 | SIMSE_Spec | SIMSE_Spec |
| Амплитудная модуляция, несущие не пересекаются | 1 | DTW_Envelope | DTW_Envelope |
| Амплитудная модуляция, несущие пересекаются | 2 | DTW_Envelope | Спектральные меры |
| Гладкое изменение высоты | 2 | JTFS | JTFS |
| Пульсирующая высота | 1 | DTW_Envelope | DTW_Envelope |
Как это читать: PPD полезно как узкая проверка того свойства, которое действительно требуется восстановить, но оно намеренно не измеряет целостное сходство. При конкуренции ритма огибающей и тембра автоматическую оценку нужно дополнять прослушиванием.