Самообученное объектное представление для классификации, обнаружения и разделения звуков

Один общий вектор записи смешивает несколько источников и затрудняет работу с каждым отдельно. Авторы сжимают локальные признаки AST в четыре конкурирующих латентных слота, из которых можно обучить разные выходные головы. Это проверка переносимости компактного объектного представления, а не универсальный разделитель произвольного разговора.

Метод. Замороженный Audio Spectrogram Transformer выдаёт признаки участков спектрограммы. Три итерации внимания с нормировкой между слотами заставляют четыре вектора распределять входные участки между собой. Декодер восстанавливает исходные AST-признаки с ошибкой MSE без разметки объектов. После 200 тыс. шагов представление замораживается; отдельно обучаются классификация, активность событий с шагом 100 мс и спектральные маски разделения. Сопоставление слотов с эталонными источниками выполняется венгерским алгоритмом. Сигнал восстанавливается с фазой смеси, поэтому отдельной оценки фазы здесь нет.

Результаты. На 100 часах моделируемых смесей NIGENS и 20 часах теста классификационный F1 равен 0,77, F1 обнаружения 0,66, SI-SDRi 18,41 дБ. Это точные значения таблицы, в отличие от округлённых 0,8 и 0,7 аннотации. Локальные AST-признаки дают 0,74, 0,65 и 15,91 дБ, то есть на обнаружении разница мала. При четырёх источниках SI-SDRi снижается до 16,75 дБ. На 2000 синтетических смесях новых классов ESC-50 без дополнительного обучения разделителя SI-SDR 7,55 дБ и улучшение 14,52 дБ.

Ограничения. Смеси пятисекундные, обычно по три разных класса из 14, с короткими отрезками и вариацией уровня ±6 дБ; реверберация и реальные наложения одинаковых голосов не проверены. Самообучен промежуточный модуль, но AST уже предобучен, а выходные головы требуют разметки и чистых источников. Для новых классов нет сопоставимых сильных универсальных разделителей, доверительных интервалов и субъективной оценки. Четыре слота ограничивают число компонентов; маски и фаза смеси ограничивают восстановление. Сравнение общих и локальных признаков одновременно меняет доступную временную информацию.

Фишка из статьи. Таблица I помогает отделить пользу объектной структуры от очевидной потери времени при глобальном объединении признаков. SI-SDRi является улучшением относительно смеси, а не абсолютным отношением качества.

Как это читать: большая часть разрыва с глобальным AST исчезает уже при сохранении локальных участков. Оставшийся выигрыш слотов заметнее в разделении, чем в обнаружении. Для обоснования объектного подхода именно локальный AST является содержательным контролем: сравнение только с общим вектором преувеличило бы эффект новой организации. Результат ESC-50 означает перенос обученного разделителя на новые классы, а не отсутствие обучения разделению вообще.

Источник. Оригинальное название: Self-Supervised Object-Centric Representation for Multi-Task Audio Analysis. arXiv:2610.41870; полный текст PDF.