Обнаружение звуковых аномалий: признаки разделителя и обучение на парных смесях
Как выучить нормальное звучание машины, если известен её тип, но почти нет сведений о режиме работы? Авторы используют разделение источников как предварительную задачу, а затем учат представление не меняться при замене добавленной помехи. Особенно интересна статистическая поправка: её ковариацию оценивают не по всем различиям нормальных записей, а по различиям двух смесей с одним и тем же целевым звуком.
Метод. Для каждого типа машины отдельно обучают CMGAN-подобный разделитель восстанавливать целевой компонент из смеси с другим типом машины. После замораживания разделителя его промежуточные признаки обрабатываются остаточными адаптерами, вниманием в сетке из двух временных и четырёх частотных областей и межстадийным объединением. Две смеси имеют общий целевой фрагмент и разные помехи; контрастивная цель сопоставляет их, а дополнительная цель согласует с исходной записью. При оценке используются 128-мерные векторы до обучающей проекции: центрирование по нормальной базе, обратный квадратный корень ковариации помех и косинусное расстояние до ближайшего нормального эталона. Десятисекундную запись оценивают по пяти двухсекундным фрагментам.

Результаты. На DCASE 2022 Task 2 итоговое гармоническое среднее H равно 64,56% ± 0,33 процентного пункта по трём запускам против 62,33% ± 1,45 у прямого обучения на смесях и 64,87% ± 0,87 у сравниваемой системы с внешним учителем BEATs. H объединяет AUC и частичные AUC по машинам, секциям и доменам; это не доля правильно классифицированных файлов. В исходном запуске объединение признаков даёт 61,85%, полная поправка повышает результат до 64,20%.
Ограничения. Это промышленный звук, а не доказательство улучшения речи. Используется development-test одного выпуска DCASE, причём архитектурные варианты сравниваются по лучшему результату на этом наборе. Отдельные модели и базы эталонов нужны для каждого типа машины. Поправка не универсальна: у slider H падает с 76,38% до 72,39%, а у ToyTrain AUC целевого домена остаётся 32,98%. Из этих экспериментов нельзя вывести потоковую задержку или перенос на произвольный шум.
Фишка из статьи. Таблица VI отделяет центрирование от выбора ковариации. Для обучаемого представления обычная ковариация нормальных примеров ухудшает результат, тогда как ковариация разностей парных смесей вместе с центрированием помогает. Следовательно, важно не просто «нормировать признаки», а выбрать, какие изменения считать мешающими.
| Поправка, обучаемые признаки | H, % |
|---|---|
| Без поправки | 61,85 |
| Только центрирование | 62,67 |
| Только ковариация помех | 62,38 |
| Ковариация нормальных примеров + центрирование | 60,30 |
| Ковариация помех + центрирование | 64,20 |
Как это читать: отбеливание по полной нормальной изменчивости может подавить полезные различия. Разности смесей изолируют изменение добавленной помехи при фиксированном источнике. Эти числа относятся к одной конфигурации с двумя блоками и 64 каналами, а не к среднему трёх запусков.
Источник. Оригинальное название: Anomalous Sound Detection Using Separation Features and Paired-Mixture Representation Learning. arXiv:2611.17895; полный текст PDF.