Звуковые аномалии Разделение источников Самообучение
arXiv eess.AS

Обнаружение звуковых аномалий: признаки разделителя и обучение на парных смесях

ArXiv:2611.17895

Как выучить нормальное звучание машины, если известен её тип, но почти нет сведений о режиме работы? Авторы используют разделение источников как предварительную задачу, а затем учат представление не меняться при замене добавленной помехи. Особенно интересна статистическая поправка: её ковариацию оценивают не по всем различиям нормальных записей, а по различиям двух смесей с одним и тем же целевым звуком.

Метод. Для каждого типа машины отдельно обучают CMGAN-подобный разделитель восстанавливать целевой компонент из смеси с другим типом машины. После замораживания разделителя его промежуточные признаки обрабатываются остаточными адаптерами, вниманием в сетке из двух временных и четырёх частотных областей и межстадийным объединением. Две смеси имеют общий целевой фрагмент и разные помехи; контрастивная цель сопоставляет их, а дополнительная цель согласует с исходной записью. При оценке используются 128-мерные векторы до обучающей проекции: центрирование по нормальной базе, обратный квадратный корень ковариации помех и косинусное расстояние до ближайшего нормального эталона. Десятисекундную запись оценивают по пяти двухсекундным фрагментам.

Общий источник задаёт обучение и поправку признаков. Цель x + две помехи: Обучение: x+n1, x+n2 и эталон x. Разделитель, заморожен: Сначала обучен восстанавливать целевой компонент. Обучаемое объединение: Новое: внимание в сетке 2×4 и слияние стадий. Разности двух смесей: Новое: ковариация остаточного влияния помех. Исходная тестовая запись: Тот же разделитель и объединение → вектор z. Центрирование + поправка: Новое: та же матрица для z и нормальных эталонов; cosine 1-NN.
Схема по материалам статьи, рисунки 1–2, раздел III и таблица VI. Две смеси содержат один нормальный целевой фрагмент и разные помехи. Пунктир: обучение или калибровка; при оценке смеси не создаются. Внутренние остаточные адаптеры и проекция потерь опущены.

Результаты. На DCASE 2022 Task 2 итоговое гармоническое среднее H равно 64,56% ± 0,33 процентного пункта по трём запускам против 62,33% ± 1,45 у прямого обучения на смесях и 64,87% ± 0,87 у сравниваемой системы с внешним учителем BEATs. H объединяет AUC и частичные AUC по машинам, секциям и доменам; это не доля правильно классифицированных файлов. В исходном запуске объединение признаков даёт 61,85%, полная поправка повышает результат до 64,20%.

Ограничения. Это промышленный звук, а не доказательство улучшения речи. Используется development-test одного выпуска DCASE, причём архитектурные варианты сравниваются по лучшему результату на этом наборе. Отдельные модели и базы эталонов нужны для каждого типа машины. Поправка не универсальна: у slider H падает с 76,38% до 72,39%, а у ToyTrain AUC целевого домена остаётся 32,98%. Из этих экспериментов нельзя вывести потоковую задержку или перенос на произвольный шум.

Фишка из статьи. Таблица VI отделяет центрирование от выбора ковариации. Для обучаемого представления обычная ковариация нормальных примеров ухудшает результат, тогда как ковариация разностей парных смесей вместе с центрированием помогает. Следовательно, важно не просто «нормировать признаки», а выбрать, какие изменения считать мешающими.

Поправка, обучаемые признакиH, %
Без поправки61,85
Только центрирование62,67
Только ковариация помех62,38
Ковариация нормальных примеров + центрирование60,30
Ковариация помех + центрирование64,20

Как это читать: отбеливание по полной нормальной изменчивости может подавить полезные различия. Разности смесей изолируют изменение добавленной помехи при фиксированном источнике. Эти числа относятся к одной конфигурации с двумя блоками и 64 каналами, а не к среднему трёх запусков.

Источник. Оригинальное название: Anomalous Sound Detection Using Separation Features and Paired-Mixture Representation Learning. arXiv:2611.17895; полный текст PDF.

Оригинальная статья на arXiv