MuseFlow-TSE: выделение целевой речи на фоне музыки с адаптивным генеративным уточнением
MuseFlow-TSE разделяет удаление помех и восстановление недостающих деталей при выделении речи из музыкально насыщенной смеси. Первый этап оценивает целевой голос, других говорящих, музыку и шум; второй уточняет уже полученную речь, а не начинает с белого шума. Это позволяет отдельно выбирать вариант для сохранения слов и вариант для более качественного звучания.
Метод. Дискриминативный модуль использует разбиение на частотные полосы, взаимодействие источников и ограничение сохранения смеси. Генеративный data-to-data flow получает начальную оценку речи и отрицательное условие по выделенным помехам. Дополнительные критерии удерживают голос и содержание. Число шагов Эйлера выбирается по трудности от одного до четырёх, среднее в проверке составляет 1,6; однопроходная MeanFlow-версия служит отдельным компромиссом.
Результаты. В синтетическом Complex-сценарии первый этап Config-D достигает SI-SDRi 13,0 дБ, WER 12,0% и утечки музыки 2,9%. После уточнения Config-DG получено 13,2 дБ, PESQ 2,88 вместо 2,71 и WER 12,2%. Улучшение звучания не улучшает распознавание автоматически: вариант без генеративной ступени имеет немного меньший WER и меньшую музыкальную утечку.
Ограничения. Доказательная база ограничена синтетическими смесями при 16 кГц. Укрупнённая категория Complex не заменяет раздельную проверку типов музыки, пения, реверберации и реальных записей. NFE измеряет число вычислений поля, не полную задержку и не RTF. Генеративная ступень не становится необходимой во всех условиях только потому, что улучшает PESQ; её риск изменения содержания нужно проверять отдельно.
Фишка из статьи. Таблица 2 прямо измеряет роль отрицательного условия по помехе, а не просто наличие второго этапа.
| Config-DG | Утечка музыки, % | Утечка пения, % |
|---|---|---|
| С отрицательным условием | 3,4 | 2,1 |
| Без отрицательного условия | 6,9 | 5,4 |
Как это читать: генератор должен знать не только что достраивать, но и что не возвращать в речь. При исключении этого условия остаточная музыка и пение усиливаются. Дополнительно адаптивные шаги сокращают NFE с 4,0 до 1,6 при одинаковом DNSMOS, но это утверждение об автоматической оценке, не о равенстве всех свойств сигнала. Для распознавания авторы обоснованно оставляют простой Config-D самостоятельной рабочей точкой.
Источник. Оригинальное название: MuseFlow-TSE: Music-Aware Target Speech Extraction via Cross-Source Band-Splitting and Data-to-Data Flow Matching. arXiv:2610.29119; полный текст PDF.