MiCLA: обучение представлений многозвучного аудио через выравнивание смеси и её составляющих

MiCLA учит кодировщик сохранять доступ к обоим звуковым событиям внутри смеси, а не только распознавать наиболее заметное. Для синтетической пары известны составляющие, и их связь используется прямо в скрытом пространстве. Работа интересна отдельной диагностикой совместного извлечения классов: обычная точность после дообучения слабо показывает этот эффект.

Метод. Первый этап использует маскированную самодистилляцию и контрастивную регуляризацию отдельных записей. На втором строятся смеси логарифмических мел-спектрограмм. Из представления смеси подавляется направление одной составляющей, а остаток выравнивается с другой, симметрично в обе стороны. Для локальных токенов применяется проекция, для общего токена — мягкое зависящее от примера подавление, чтобы не удалить всю общую информацию двух событий.

Результаты. После дообучения получено 43,2% mAP на AS-20K и 50,3% на AS-2M. Для AudioSet результаты абляций усреднены по трём случайным запускам. Но сравнение с усреднёнными целями составляющих даёт лишь 0,3 п.п. mAP, тогда как специальная проверка извлечения сразу двух событий показывает существенно больший разрыв. Это подчёркивает зависимость вывода об эффективности от выбранной задачи проверки.

Ограничения. Смешивание логарифмических спектров не совпадает с физическим сложением звуковых волн и не моделирует фазовую интерференцию. Это обучающее преобразование, не алгоритм разделения или улучшения речи. Внешние модели имеют разные цели и предобучение; контролируемые внутренние абляции надёжнее для объяснения механизма. Нет прямой проверки качества восстановленного речевого сигнала или работы с многоканальными записями.

Фишка из статьи. В диагностике Joint Semantic Retrieval ответ засчитывается только тогда, когда в Top-K найдены оба исходных класса. Ниже смесь строится в волновой форме, то есть отличается от основного обучающего преобразования.

Как это читать: специальная остаточная цель помогает не свести смесь к одному общему усреднённому признаку. Выигрыш 5,7–9,2 п.п. над усреднёнными целями заметнее, чем разница mAP после дообучения. Для оценки представления полезно напрямую проверять доступность каждой составляющей, а не считать рост стандартного классификационного показателя исчерпывающим свидетельством.

Источник. Оригинальное название: MiCLA: Mixture-to-Constituent Latent Alignment for Polyphonic Audio Representation Learning. arXiv:2610.27491; полный текст PDF.