Самообучение на океаническом аудио: почему отбор событий важнее объёма шумных записей

В длинных пассивных записях редкие полезные события могут занимать лишь малую часть времени. На океаническом аудио авторы показывают, что тридцать часов вручную выделенных сигналов дают лучшие представления, чем 1240 часов исходных записей. При этом механизм не сводится к повторению нескольких одинаковых шумовых токенов: фон оказывается разнообразной задачей предсказания, но не целевой задачей классификации.

Метод. BEATs предсказывает замаскированные акустические токены. Чтобы не смешивать влияние данных и словаря, токенизатор не переобучают на океанических записях: сравнивают фиксированную случайную проекцию и фиксированный BEATs-iter3 из AudioSet. Оба имеют 1024 кода. Это обучающие цели для представления звука, а не кодек восстановления волны с измеренным битрейтом. Из Watkins сравниваются полные Master Tapes, 30 часов отобранных оператором Cut Tapes и 613 часов автоматического отбора. Последующий тест BEANS различает 31 класс морских млекопитающих, с линейной головкой либо полным дообучением.

Результаты. При случайном словаре точность линейной головки равна 43,1% на полных записях и 72,0% на ручном отборе; с BEATs-словарём 42,8 и 73,7%. После полного размеченного дообучения разрыв с BEATs уменьшается до 87,0 против 92,0%. Автоматический отбор улучшает представление до 63,1%, но не догоняет ручной. Детектор MAAD-ROI на локализованных событиях находит лишь около 40% сигналов при выборе 69% временной оси, поэтому сама операция «отфильтровать фон» далека от решения.

Ограничения. Проверены одна архитектура и специализированный корпус, а не речь или музыкальная генерация. Ручная выборка использует знание полезных событий; его получение имеет стоимость и приближает данные к целевой задаче. Размеры пакетов и некоторые скорости обучения различаются, поэтому сравнение не идеально уравнено по вычислениям. Связь распределения токенов с расходованием внутренней ёмкости интерпретируется, а не измеряется прямым причинным вмешательством. Высокая энтропия сама по себе не доказывает бесполезность любого фонового звука.

Фишка из статьи. Раздел 3.4 сравнивает статистику фиксированных токенизаторов на четырёх тысячах фрагментов каждого корпуса. Приведённая энтропия является статистикой символов с максимумом 10 бит, не битрейтом компрессора.

Как это читать: фон не схлопывается: у случайного словаря одинаковый соседний код повторяется даже реже на полных записях, 16,9 против 27,7%. Более сложный токенизатор делает описание фона почти столь же богатым, как описание полезных сигналов, но не возвращает качество представления. Для редких аудиособытий нужно оценивать состав временной оси и последующую задачу, а не максимизировать часы или разнообразие кодов безотносительно смысла.

Источник. Оригинальное название: Drowning in Noise: On Signal Saliency in Self-Supervised Learning for Ocean Acoustics. arXiv:2611.06725; полный текст PDF.