CallCleaner: перенос возможностей большого разделителя звука в компактную модель очистки вокализаций
CallCleaner переносит способность SAM-Audio убирать сложный фон в небольшой Demucs, сохраняя акустическую форму целевой вокализации. Это смежная с речью задача, где особенно опасно заменить слабый сигнал правдоподобным, но изменённым. Работа показывает, почему хорошее подавление шума и высокая верность самому звуковому событию нужно оценивать раздельно.
Метод. SAM-Audio-small на 0,71 млрд параметров получает временные интервалы активности целевого события и размечает 1,8 часа отдельных полевых записей. Модель-ученик с 18,9 млн параметров инициализируется Biodenoising и обучается на псевдоцелях с повторным смешиванием остатка. Временные подсказки важны: текстовая команда без них нередко заставляет учителя выделить не тот источник. Основная проверка содержит 47 чистых фрагментов не длиннее 30 секунд, смешанных с реальным шумом при четырёх отношениях сигнал/шум, всего 188 смесей.
Результаты. CallCleaner и Biodenoising имеют медианный SI-SDR 13,0 дБ, но ослабление энергии вне целевых интервалов составляет 29,0 против 17,6 дБ. Спектральная ошибка LMD уменьшается с 10,7 до 9,6 дБ. У SAM-Audio с временной подсказкой SI-SDR только 1,4 дБ, несмотря на сильное подавление фона. Ученик работает примерно в 90 раз быстрее реального времени на CPU Apple M4 Pro; это пропускная способность, а не измерение задержки первого блока.
Ограничения. Часть настроек выбиралась на самом небольшом тестовом наборе, хотя авторы приводят проверки устойчивости. Для учителя нельзя исключить предобучение на 18 из 47 чистых примеров из FSD50K. Сценарий предполагает отдельные события с паузами, поэтому перенос на плотный хор источников или разговорную речь не установлен. Нового независимого большого корпуса для окончательной проверки не хватает.
Фишка из статьи. В таблице 1 подавление вне события и искажение внутри него расходятся. Отдельный анализ тональных примеров также находит сдвиг основного тона более чем на 50 центов у учителя в 22% случаев, у ученика — в 3%.
| Модель | SI-SDR, дБ | Изменение энергии вне события, дБ | Ошибка формы, дБ |
|---|---|---|---|
| Biodenoising | 13,0 | −17,6 | 9,6 |
| SAM-Audio с интервалами | 1,4 | −29,0 | 8,5 |
| CallCleaner | 13,0 | −29,0 | 9,6 |
Как это читать: ученик перенимает сильное удаление фона, но не становится лучшим по каждой характеристике события. Равный SI-SDR скрывает разницу в паузах, а очень низкий SI-SDR генеративного учителя частично отражает несохранение точной волны. Для научных акустических измерений ни одну из этих оценок нельзя автоматически приравнивать к отсутствию искажений.
Источник. Оригинальное название: CallCleaner: Lightweight Bioacoustic Denoising from an Audio Foundation Model. arXiv:2611.11491; полный текст PDF.