Разметка окружающих звуков с подсказками модели и обязательной проверкой человеком

Работа показывает, как использовать неидеальный детектор речи для ускорения разметки, не передавая ему право окончательной метки. На рабочей коллекции Kenya Forest Sounds модель отбирает вероятные записи с человеческой речью, а разметчик быстро подтверждает их. Главный результат относится к устройству процесса, а не к новому рекорду распознавания всех окружающих звуков.

Метод. Из 7531 короткой записи первоначально размечены 2505; речь — самый представленный класс с 1056 примерами. Audio Spectrogram Transformer дообучают на бинарную задачу Person talking против остальных 20 категорий, со стратифицированным делением 70/15/15. Принятые человеческие метки имеют приоритет, машинные положительные решения направляются в отдельную очередь проверки, прочие файлы остаются для обычной разметки. Непрерывное прослушивание с записью только исключений сокращает переключения между проигрывателем и таблицей.

Результаты. На тестовой части бинарная accuracy составляет 89,36%, precision 85,98%, recall 89,24%, F1 87,58%. Заранее выбранный порог допуска к автономной разметке 95% не достигнут. В рабочей очереди проверены 2337 положительных предложений; разметчик не нашёл ложноположительных. При этом остальные 2689 файлов всё равно размечаются вручную. «100% проверки» относится только к отобранным положительным решениям и не измеряет пропущенную речь среди остальных файлов.

Ограничения. Это один проект, одна целевая категория и неравномерный набор звуков. Сравниваемые исходные модели решали разные задачи и оценивались не обязательно на идентичных частях: рост с 59% до 89% нельзя читать как чистую абляцию алгоритма. Не установлено разделение по местам и сессиям записи, нет независимой повторной проверки разметчика. Производственная очередь может отличаться порогом уверенности и распределением от теста. Время 4,2 с приблизительное и близко к средней длине записи; расчёт не включает все затраты на разработку и обучение.

Фишка из статьи. Таблица 4 прозрачно рассчитывает трудоёмкость только оставшихся 5026 файлов. Это полезнее обещания полностью автоматической разметки: значительная часть экономии возникает от упрощённого бинарного подтверждения одной категории.

Как это читать: расчётная экономия составляет 19,99 часа, около 41% оставшейся работы, не всей истории проекта. Она зависит от быстрого подтверждения и отсутствия найденных ошибок в данной очереди; при сложной переоценке выгода уменьшится. Такой протокол сохраняет происхождение меток и не превращает машинную уверенность в эталон истины.

Источник. Оригинальное название: A Human-Verified AI Workflow for Annotating Environmental Sound Data. arXiv:2611.03271; полный текст PDF.