Аудиопредставления Межмодальное внимание Генерация изображений
arXiv cs.CV

Почему несколько аудиособытий теряются при генерации изображения: геометрия токенов и внимание

ArXiv:2611.24410

Если по двум звуковым записям генерировать одну картинку, модель часто рисует только один источник или смешивает объекты. Авторы связывают это с геометрией аудиотокенов в текстовом пространстве CLIP и конкуренцией за внимание. Работа полезна как анализ представлений и управления условиями, но не предлагает новый аудиокодек и не разделяет источники в звуковой смеси.

Метод. Каждый отдельный входной звук проходит замороженный CLAP с выходом 512 чисел. Обучаемый модуль около 8,3 млн параметров переводит его в нормированный 768-мерный токен текстового пространства Stable Diffusion 1.5. Для каждого звука выделяется отдельный заполнитель в общей текстовой инструкции; до пяти записей задаются раздельно. Сам генератор изображений заморожен. При применении первые 25 из 50 шагов DDIM дополнительно меняют скрытое состояние изображения по градиенту: усиливают активацию всех условий, уменьшают наложение областей внимания и удерживают их между шагами. Это оптимизация состояния при выводе, а не дообучение U-Net на каждом примере.

Раздельные аудиотокены и поправка скрытого состояния при выводе. До пяти отдельных звуков: Каждой записи — собственный заполнитель. Замороженный CLAP: 512-мерный общий вектор каждой записи. Обучаемое отображение: Новое: 512 → 768, токены пространства CLIP. Общая текстовая инструкция: Своя позиция токена для каждого события. Замороженный SD 1.5: 50 шагов DDIM → одно изображение. Поправка состояния изображения: Новое: активация, разделение и удержание внимания.
Схема по материалам статьи, рисунок 3, раздел 3 и таблица S6. На входе отдельные аудиозаписи, не смесь с неизвестными источниками. CLAP и Stable Diffusion заморожены; обучается только модуль отображения. Пунктир — градиент при генерации к скрытому состоянию изображения, не обновление U-Net. Цель объединяет усиление, разделение и удержание внимания; детали нормировки и DDIM опущены. Новое отмечено словом и цветом.

Результаты. На VGG2 с двумя источниками AIC, отражающий узнаваемость нужных классов, равен 0,4332 против 0,2126 у MACS; FID снижается с 57,8110 до 54,1177. Преимущество FID над AudioToken намного больше, но это более слабая база, поэтому выдавать такое отношение за выигрыш над лучшим конкурентом неверно. На одиночных классах AIC достигает 0,5904. При переносе на IS3 картина меняется: CLAP даёт AIC 0,1688, тогда как BEATs 0,2131. Узкие хорошо разделённые классы обучающего словаря не гарантируют лучшего описания незнакомого события.

Ограничения. Обучение использует около 25 тыс. пар из 50 классов VGGSound. Часть оценок связана с CLIP, поэтому семантическая близость его пространству может влиять на ранжирование; независимого прослушивания здесь по постановке нет, а человеческая проверка полноты композиции не заменена одной метрикой. Вход — набор отдельных аудиозаписей, не единственный смешанный сигнал. Итерации градиента значительно увеличивают время; эти секунды не относятся к обработке аудио в реальном времени.

Фишка из статьи. Таблица S6 раскрывает цену улучшенного внимания. При неизменных весах модели скорость всё равно может упасть втрое: нужно повторно выполнять прямые и обратные проходы. Ниже приведено измеренное авторами время генерации одной картинки в их протоколе, а не гарантированная задержка сервиса.

НаборБез оптимизации, сСмешанная цель, сЗамедление
VGG2: два звука4,08211,4082,79×
VGG3: три звука4,03012,0272,98×
VGGn: 2–5 звуков4,03212,3563,06×

Как это читать: основная цена приходится на усиление активации: до 20 внутренних итераций на трёх выбранных шагах. Одна только пространственная поправка требует 7,272 с на VGGn против 12,356 с полной цели. Для практического выбора важны одновременно присутствие всех объектов и бюджет вычислений, а не только число обучаемых параметров.

Источник. Оригинальное название: Why Multi-Source Audio Fails to Compose: A Geometric Diagnosis and Its Remedy. arXiv:2611.24410; полный текст PDF.

Оригинальная статья на arXiv