SubRoFormer: разделение музыкальных источников через подполосные сигналы и многоскоростную обработку

SubRoFormer разделяет музыку не по единственной полнополосной спектрограмме, а по набору более медленных комплексных подполосных сигналов. Широкая последовательностная модель работает на ещё более редкой сетке, тогда как подробные признаки сохраняются для восстановления. Важно, что авторы измеряют и искажение самого банка фильтров: удобное для нейросети представление не является точным преобразованием восстановления.

Метод. Фиксированные FIR-фильтры с треугольными перекрывающимися полосами, преобразованием Гильберта, переносом к нулевой частоте и децимацией дают 128 полос. Нижняя часть размечена по mel, верхняя линейно; для стерео 48 кГц подполосная частота составляет 800 Гц. Локальный STFT на 32 отсчёта даёт признаки 100 Гц, RoFormer после упаковки по четыре кадра работает на 25 Гц. Затворное остаточное объединение возвращает подробности для комплексных масок, затем выполняется обратный перенос и суммирование полос. Это фиксированный DSP-тракт с обучаемым объединением, не EMD, VMD или локально адаптируемое окно.

Результаты. Без внешних данных целевые отдельные SubRoFormer-B дают средний SDR 10,63 dB на MUSDB18-HQ против 10,02 у приведённого BS-RoFormer; по басу новый метод уступает на 1,38 dB. Четырёхдорожечный средний показатель является средним медиан SDR по 50 песням, не одной объединённой ошибкой. Один совместный вариант получает 10,29 dB, используя около 97M параметров вместо четырёх отдельных сетей такого размера. С 500 дополнительными песнями одна сеть достигает 11,59 dB. Это не максимум среди любых конфигураций: три специализированные BS-RoFormer с другими данными дают 11,99 dB.

Ограничения. Полные песни обрабатываются отрезками по 2 с с перекрытием 75%, без причинной потоковой проверки. Меньше параметров и кадров не означает измеренное уменьшение RTF или памяти: таких замеров нет. Основные сравнения берут результаты разных работ с разными обучающими условиями, а абляции не имеют повторных начальных состояний. Данные дополнительных 500 песен внутренние. Внешнее выравнивание задержки при проверке банка фильтров исключает временной сдвиг, но не его спектральные искажения; это не доказательство практической малой задержки.

Фишка из статьи. Таблица I проверяет только прямое и обратное преобразование, без разделяющей нейросети. Ниже смесь 50 тестовых песен, медианный SDR после выравнивания задержки; коэффициентная скорость считает действительные числа на исходный отсчёт одного канала, не биты.

Как это читать: подполосный банк не экономит суммарное число коэффициентов относительно этого STFT и заметно искажает сигнал. Его выигрыш состоит в организации задачи разделения и распределении вычислений между частотами и временными масштабами. Хорошее разделение не доказывает превосходства преобразования как кодека; почти точное восстановление MDCT или Хаара, наоборот, ещё не означает, что на этих признаках нейросеть разделит источники лучше.

Источник. Оригинальное название: SubRoformer: Subband Time-Domain Representation for Music Source Separation. arXiv:2611.08130; полный текст PDF.