SelectSep: выбор источника для разделения аудио по тексту и одному щелчку на видео
Если на видео одновременно видны два звучащих объекта, общий вектор сцены не говорит, какой из них нужно извлечь из смеси. SelectSep добавляет к текстовому описанию один щелчок по целевому объекту. Идея особенно полезна, когда источники принадлежат одному классу и одинаковое словесное описание уже не различает экземпляры.
Метод. Сначала визуальный Synchformer адаптируется дистилляцией: учитель видит чистое видео цели, ученик смешанную сцену, текст и координату. Основной временно-пространственный кодировщик заморожен, обучаются небольшие модули внимания, проекции условий и объединения признаков. На втором этапе визуальный кодировщик фиксируют и адаптируют MMAudioSep с условным согласованием потоков в пространстве мел-спектрального VAE; BigVGAN восстанавливает сигнал. Исходное распределение центрируется на смеси. При выводе сегментация не нужна, но маски используются для формирования обучающих псевдощелчков.
Результаты. На MUSIC-Clean FAD уменьшается с 5,50 у того же базового разделителя до 3,82, DeSync с 0,232 до 0,212; на VGGSound-Clean FAD 3,54→2,83. В новом тесте с двумя видимыми источниками одного класса DeSync снижается с 0,648 до 0,488, CLAP-A растёт с 70,61 до 79,40. Это показатели распределения, семантики и синхронизации, не SDR и не WER. При разных классах текстовый FlowSep всё ещё лучше SelectSep по всем сообщённым метрикам: дополнительные визуальные условия не гарантируют преимущество.
Ограничения. Сложные сцены моделируются горизонтальной склейкой двух видео и сложением аудио при 0 дБ, а не естественными взаимодействиями и окклюзиями в одной комнате. Для ключевого нового теста используются вручную правильные щелчки, устойчивость к ошибкам пользователя не показана. На обычных наборах часть объектов отсутствует в первом кадре: тогда работает только текст. 25 шагов Euler и генеративный вокодер не сопровождаются проверкой реального времени. Нет субъективной оценки достоверности целевого сигнала или отдельного теста на разговорную речь.
Фишка из статьи. Абляция таблицы 2 добавляет компоненты последовательно на смесях одного класса. Она позволяет отделить выигрыш от нового априорного распределения от собственно пространственного выбора.
| Накопительная конфигурация | FAD ↓ | CLAP-A ↑ | DeSync ↓ |
|---|---|---|---|
| MMAudioSep | 5,57 | 70,61 | 0,648 |
| Распределение с центром на смеси | 5,14 | 71,02 | 0,573 |
| Добавлено текстовое условие | 4,12 | 75,72 | 0,558 |
| Добавлен щелчок, SelectSep | 3,61 | 79,40 | 0,488 |
Как это читать: текст улучшает семантическую привязку, а щелчок дополнительно уменьшает неоднозначность экземпляра и временной синхронизации. Выигрыш всей системы нельзя целиком приписать координате: часть появляется до её добавления. При разных классах эффект центрирования даже ухудшает некоторые метрики, поэтому полезность условия определяется устройством помехи, а не только сложностью модели.
Источник. Оригинальное название: SelectSep: Target-Selective Video Queries for Audio Source Separation. arXiv:2610.38624; полный текст PDF.