AudioFM: обучение универсальным представлениям звука через глобальные и локальные соответствия

AudioFM совмещает сходство записи в целом с восстановлением скрытых локальных участков спектрограммы. Ученик должен узнать соответствующий признак учителя среди признаков других записей, не просто приблизить усреднённую цель. Работа полезна широкой проверкой замороженного кодировщика: одинаковые протоколы позволяют увидеть и перенос между акустическими областями, и чувствительность результата к простой нормировке признаков.

Метод. ViT-Base получает 128-полосную лог-мел-спектрограмму из 1024 кадров, разбитую на участки 16×16. Один вид маскирует 60% временных полос, другой 40% частотных. EMA-учитель видит полный вход. Глобальный контраст сближает два вида одной записи; локальный предиктор сохраняет обе оси и отличает правильную цель от других записей в той же позиции. Для скрытой точки добавляются более слабые цели соседних временных точек, только если они тоже скрыты от ученика. Иначе можно было бы просто скопировать видимый признак вместо восстановления контекста.

Результаты. Предобучение без меток использует 1,68 млн доступных AudioSet-отрезков, около 4665 ч. При полном дообучении mAP AudioSet-20K 42,3%, FSD50K 71,4%, ESC-50 98,2%, SpeechCommands V1/V2 99,1/98,5%. На общей сохранившейся части AudioSet-2M mAP 50,2 против 49,2 у переоценённого AudioMosaic. Замороженные ненормированные признаки дают лучший или разделённый лучший результат на 10 из 12 задач. Межкорпусная и междикторная проверка эмоций лидирует в трёх из четырёх направлений, но универсального лидерства по каждому протоколу нет.

Ограничения. Предобучение ограничено AudioSet и моно 16 кГц: пространственные связи утрачены. Не все сравнения полного дообучения переобучены на идентичном материале; часть чисел взята из публикаций, а исчезающие записи YouTube меняют доступный набор. Линейная проба оценивает извлекаемость информации, не полноценное распознавание или диалог. Устойчивость к сильным искажениям канала и смене устройств изучена ограниченно. Медицинские акустические опыты и проекции признаков не являются подтверждением диагностической готовности.

Фишка из статьи. Таблица 3, сверенная с изображением страницы PDF, показывает смену ранжирования при добавлении LayerNorm перед тем же линейным классификатором. Ниже макро-F1 эмоций, проценты; кодировщики не дообучаются.

Как это читать: преимущество «готовых сырых признаков» не равно преимуществу после минимальной адаптации их масштаба. Нормировка помогает конкуренту, но здесь ухудшает AudioFM. Поэтому оценивать универсальный речевой кодировщик только одним видом линейной пробы рискованно. Локальная временная структура полезна, но это обучение представления на фиксированной STFT-сетке, не адаптивный выбор частотно-временного разложения.

Источник. Оригинальное название: AudioFM: Towards General Purpose Audio Representation Learning. arXiv:2610.34183; полный текст PDF.