Редактирование аудио Разделение источников Диффузионные траектории
arXiv cs.SD

STEER: надёжный выбор источника при редактировании аудио по текстовой команде

ArXiv:2611.10630

Редактор может качественно изменить звук, но выбрать не тот источник или задеть соседний. STEER исследует, на каком участке диффузионной траектории возникает эта ошибка, и меняет распределение обучающих шагов. Дополнительная стадия учит исправлять собственные неудачные состояния, а не только идеальные интерполяции между шумом и правильной целью.

Метод. Базовый редактор поддерживает генерацию, добавление, удаление, замену, изменение высоты и громкости источника. На первой стадии STEER-Emphasis чаще обучается на ранних шумных состояниях, важных для выбора цели. STEER-Recovery затем делает короткие собственные развёртки без обратного распространения через них и задаёт корректирующую скорость к желаемому результату. Две стадии проверены на собственной сети, UNISON и SAM Audio; есть контроли с тем же числом дополнительных обновлений, чтобы отделить эффект метода от простого продолжения обучения.

Результаты. На Selective Audio Editing Benchmark успех базовой сети повышается с 70,42% до 84,02% после Emphasis и до 85,78% после полной схемы. Частота ошибок выбора снижается с 28,48% до 9,99% и 8,45%. На отдельном наборе сложных сцен человеческая оценка успеха меняется с 88,50% до 93,67%, а число отмеченных ошибок выбора — с 40 до 17 на проверяемом наборе. Эти человеческие и автоматические показатели относятся к разным тестам.

Ограничения. Отбор важных временных диапазонов и дообучение требуют данных конкретной задачи; это не универсальная поправка к любому готовому редактору на этапе использования. Смеси и целевые операции в контролируемом тесте проще неограниченных пользовательских запросов. Генеративная оценка качества не гарантирует сохранения каждого нецелевого источника; скорость и задержка интерактивного приложения отдельно не установлены.

Фишка из статьи. Префиксные вмешательства дают конкретную карту принятия решений. При 50 шагах генерации диапазон, охватывающий 80% исправимых сбоев, для удаления оказывается намного короче, чем для изменения свойств. Для последней группы несколько ранних шагов всё ещё определяют, что будет меняться.

Группа задачКритический ранний диапазонДоля 50-шагового процесса
Избирательное удалениеПервые 2 шага4%
Замена, высота, громкостьПервые 15 шагов30%

Как это читать: это диагностически найденные интервалы, а не требуемое число шагов готового вывода. Дополнительная проверка искусственно испорченных префиксов сдвигает порог 50% сбоев с 5 шагов у базы до 9 у Emphasis и 15 у полной схемы. Метод одновременно старается не допустить раннюю ошибку выбора и учит выходить из уже ошибочной траектории.

Источник. Оригинальное название: Steer Unified Audio Editing Toward Reliable Source Selection. arXiv:2611.10630; полный текст PDF.

Оригинальная статья на arXiv