STEER: надёжный выбор источника при редактировании аудио по текстовой команде
Редактор может качественно изменить звук, но выбрать не тот источник или задеть соседний. STEER исследует, на каком участке диффузионной траектории возникает эта ошибка, и меняет распределение обучающих шагов. Дополнительная стадия учит исправлять собственные неудачные состояния, а не только идеальные интерполяции между шумом и правильной целью.
Метод. Базовый редактор поддерживает генерацию, добавление, удаление, замену, изменение высоты и громкости источника. На первой стадии STEER-Emphasis чаще обучается на ранних шумных состояниях, важных для выбора цели. STEER-Recovery затем делает короткие собственные развёртки без обратного распространения через них и задаёт корректирующую скорость к желаемому результату. Две стадии проверены на собственной сети, UNISON и SAM Audio; есть контроли с тем же числом дополнительных обновлений, чтобы отделить эффект метода от простого продолжения обучения.
Результаты. На Selective Audio Editing Benchmark успех базовой сети повышается с 70,42% до 84,02% после Emphasis и до 85,78% после полной схемы. Частота ошибок выбора снижается с 28,48% до 9,99% и 8,45%. На отдельном наборе сложных сцен человеческая оценка успеха меняется с 88,50% до 93,67%, а число отмеченных ошибок выбора — с 40 до 17 на проверяемом наборе. Эти человеческие и автоматические показатели относятся к разным тестам.
Ограничения. Отбор важных временных диапазонов и дообучение требуют данных конкретной задачи; это не универсальная поправка к любому готовому редактору на этапе использования. Смеси и целевые операции в контролируемом тесте проще неограниченных пользовательских запросов. Генеративная оценка качества не гарантирует сохранения каждого нецелевого источника; скорость и задержка интерактивного приложения отдельно не установлены.
Фишка из статьи. Префиксные вмешательства дают конкретную карту принятия решений. При 50 шагах генерации диапазон, охватывающий 80% исправимых сбоев, для удаления оказывается намного короче, чем для изменения свойств. Для последней группы несколько ранних шагов всё ещё определяют, что будет меняться.
| Группа задач | Критический ранний диапазон | Доля 50-шагового процесса |
|---|---|---|
| Избирательное удаление | Первые 2 шага | 4% |
| Замена, высота, громкость | Первые 15 шагов | 30% |
Как это читать: это диагностически найденные интервалы, а не требуемое число шагов готового вывода. Дополнительная проверка искусственно испорченных префиксов сдвигает порог 50% сбоев с 5 шагов у базы до 9 у Emphasis и 15 у полной схемы. Метод одновременно старается не допустить раннюю ошибку выбора и учит выходить из уже ошибочной траектории.
Источник. Оригинальное название: Steer Unified Audio Editing Toward Reliable Source Selection. arXiv:2611.10630; полный текст PDF.