AnomSep: выделение аномальных звуков с NMF, VAE и уточнением через flow matching

AnomSep объясняет обнаруженную звуковую аномалию не картой внимания, а выделенным сигналом, который можно прослушать. Причём оценка аномальности вычисляется непосредственно как энергия этого же сигнала. Система объединяет явное словарное разделение нормального фона и остатка с нейросетевым исправлением ошибок в латентном пространстве VAE.

Метод. NMF обучает неотрицательный словарь только на нормальных звуках целевой среды. NNE разлагает модуль спектрограммы на словарную часть и остаток, затем мягкие маски восстанавливают две предварительные волны. Замороженный VAE SAM-Audio переводит их в латенты, а DiT с LoRA учится проводить их к правильным нормальному и аномальному источникам с помощью flow matching. Вместо старта из гауссовского шума он уточняет содержательное начальное разделение. NRE отбрасывает внешние обучающие звуки, слишком близкие к нормальному фону, чтобы не обучать модель противоречивым целям.

Результаты. На синтетических смесях AnomSep получает F1 обнаружения 0,90 в аэропорту, 0,92 в метро и 0,93 на площади. На реальных смесях точность равна 0,69, F1 0,66 против 0,67 и 0,59 у детекторного DCASE-ориентира. Автоматический SAM Audio Judge оценивает выделенный звук в 2,74 против 2,13 у NNE. На RTX 5090 обработка пятисекундного клипа занимает 0,524 ± 0,004 с, RTF около 0,10; используются 16 шагов интегрирования.

Ограничения. VAE здесь является латентным представлением для разделения, не проверенным самостоятельным кодеком сжатия. Битрейт, частота латентных токенов, полный размер памяти и потоковая задержка не сообщаются. Быстрее реального времени обрабатывается целый клип на мощном GPU. SAJ и CLAP являются автоматическими оценками, не прослушиванием людьми; для реальных смесей нет чистых источников. Нормальный фон и порог фиксированы, постепенная смена акустики не исследована, а ошибка разделения может непосредственно исказить и объяснение, и оценку.

Фишка из статьи. Таблица III разделяет эффект нейросетевого уточнения и фильтрации внешних примеров на реальных смесях. Одинаковая энергия выделенного сигнала задаёт решение, но это не гарантирует, что модель научилась правильно определять норму.

Как это читать: содержательная инициализация улучшает автоматическую оценку выделения, но без отбора примеров F1 остаётся на уровне обычного дообучения. Отдельное исключение похожих на норму звуков даёт дополнительный выигрыш. Связь объяснения с решением конструктивно точная, а правдоподобие самого объяснения всё равно требует проверки на новых фоновых условиях.

Источник. Оригинальное название: AnomSep: Bridging Optimization-Based Separation and Deep Neural Refinement for Anomaly Detection with Listenable Explanations. arXiv:2611.09279; полный текст PDF.